Swiftlet

Swiftlet 官网

Swiftlet 是一个开源的 Swift + Metal 推理运行时，专为在苹果设备上极致轻量化地运行大语言模型而设计。它利用 Qwen3-Next 系列模型的混合专家架构（MoE）特性，实现了在 Mac 上仅用 4.3GB 峰值内存运行 80B 参数模型，以及在 iPhone 17 上用约 2.5GB 内存原生运行 35B 模型。与传统部署需要将所有参数全部加载到内存不同，Swiftlet 只将密集骨干网络常驻内存，专家权重按需从 SSD 流式读取，配合 LFU 缓存策略，让消费级设备也能跑”大模型”。

Swiftlet 的主要功能：

1. 按需专家流式加载：利用 MoE 模型每次推理仅激活约 3B 参数的特性，将每层 512 个专家网络中的 502 个闲置权重留在 SSD 上，仅在使用时通过单次 pread 调用加载，大幅降低内存占用。
2. 自定义 .qpack 容器格式：将量化后的模型权重打包为专门为单次读取优化的容器格式，每个专家一步读取，避免传统 GGUF 格式在小批次推理中的随机访问开销。
3. LFU+近期性缓存：为高频使用的专家权重设计有限大小的缓存池，实测命中率 43%-70%，借助 Apple SSD 的高吞吐，缓存未命中也不会明显拖慢速度。
4. Metal 运行时编译：前向传播全部跑在 Apple GPU 上，使用运行时编译的 Metal 着色器，无需构建时 Metal 工具链，同一套代码可直接部署到 macOS 和 iOS。
5. OpenAI 兼容 API：swiftlet-server 在本地回环地址上提供 /v1/chat/completions 接口，任何兼容 OpenAI API 的界面都可以无缝接入本地模型。
6. 逐层正确性验证：每一层前向传播都与 mlx-lm 参考实现逐层对比（覆盖 f32 和 int4 量化），Metal 内核针对精确 CPU 参考反复验证，确保专家无论从缓存还是磁盘读取都能给出完全一致的回答。

如何使用 Swiftlet？

使用流程如下：

1. 从 GitHub 克隆仓库：git clone https://github.com/leonickson1/Swiftlet；
2. 下载量化模型权重（Qwen3.6-35B 约 18GB 磁盘 / Qwen3-Next-80B 约 42GB 磁盘）；
3. 使用 swiftlet chat 进入交互式对话，或 swiftlet-server 启动本地 API 服务（默认 localhost:8080）；
4. iOS 端可使用已上架 App Store 的 Priv AI 应用，内嵌 SwiftletCore 引擎，下载模型后即可离线使用。

Swiftlet 的使用场景：

1. 隐私敏感场景：医疗记录、法律文件、专有源代码等不能上传云端的场景——所有推理在本地完成，数据零外传，无 API Key、无按 token 计费、无频率限制。
2. 移动端离线 AI：iPhone 17 上原生运行 35B 模型，无网络环境下仍可使用 AI 进行文档总结、代码辅助、内容创作。
3. 嵌入式 AI 产品：将 SwiftletCore 嵌入 macOS/iOS 应用，为用户提供本地运行的大模型体验，免去云端 API 调用的延迟和成本。

Swiftlet：产品价格与版本

1. 开源免费：Swiftlet 代码开源（MIT 风格），模型权重（Qwen 系列）免费下载。
2. Priv AI（iOS）：已上架 App Store，免费下载，内购或订阅可能适用于高级功能。
3. 硬件要求：需 Apple Silicon（M1 及以上），macOS 14+，iPhone 17 或更新机型。80B 模型建议 8GB 以上统一内存。

Swiftlet 的常见问题解答：

4.3GB 跑 80B 模型，效果会打折吗？

有一定让步。因为每 token 只有约 3B 参数激活，所以模型”和写作像大模型，但事实记忆像小模型”——对对话、写作、摘要等任务表现接近云端大模型，但对精确的事实性知识（如冷门日期、统计数据）回答可能不够准确。

速度够快吗？

M5 Mac 上 80B 模型约 4.5-5 tok/s（适合非交互式任务），35B 模型约 7-11 tok/s（完全可用于编程辅助和实时对话）。iPhone 17 上 35B 约 1 tok/s（慢但能用）。作者表示速度瓶颈在调度而非 I/O，仍有优化空间。

和 Ollama / LM Studio 有什么区别？

Ollama 和 LM Studio 需要把所有参数加载到内存，所以 80B 模型至少需要 40GB+ 内存才能运行。Swiftlet 的 MoE 流式加载是核心差异——让 8GB 内存的 MacBook Air 也能跑 80B 模型。

Swiftlet 官网网址

GitHub 地址：https://github.com/leonickson1/Swiftlet

OpenI AI时代点评

Swiftlet 代表了一个越来越清晰的趋势：2026 年是”大模型跑在个人设备上”真正从概念变成现实的一年。80B 参数的模型装在 MacBook 上、35B 装进 iPhone——这在两年前会被认为是科幻。虽然速度还不是实时、推理质量有让步，但”数据不出设备”这一个优势就足以在很多合规要求严格的场景中胜出。当 DeepSeek V4、Llama 4、Qwen 3.8-MAX 都在推进端侧推理，Swiftlet 告诉我们：硬件不是瓶颈，算法架构才是。相关阅读：WorkBuddy、OpenClaw。