Local AI

Local AI 是一款功能强大的原生应用程序，采用Rust后端构建，确保内存高效且紧凑。它允许用户在离线和私密环境中实验AI模型，支持CPU推理并适应可用线程。该应用具备GGML量化功能，并提供即将推出的GPU推理能力。它包括模型管理工具，用于在集中位置跟踪AI模型，具有可恢复的并发下载和基于使用情况的排序功能。此外，Local AI 提供摘要验证功能，使用BLAKE3和SHA256确保下载模型的完整性。该应用还支持通过几次点击启动本地流式服务器进行AI推理。