FreeToken

FreeToken – 开源端侧 MoE 大模型推理系统，支持满血运行

在高性能人工智能技术飞速发展的今天，如何在个人电脑上高效运行动辄数千亿参数的混合专家（MoE）模型，一直是困扰开发者与科研人员的难题。由加州大学伯克利分校（UC Berkeley）、麻省理工学院（MIT）等顶尖机构联合推出的开源项目——FreeToken，正式为这一困境带来了性的解决方案。

FreeToken 本质上是一个专为端侧设备打造的 MoE 模型推理引擎。它通过一套精密设计的异构计算架构，将个人电脑中原本各自为政的 CPU、内存、PCIe 总线以及显卡（GPU）有机整合，构建起一个弹性的算力池。通过全层双缓冲、智能带宽调度、Agent 状态缓存以及显存热管理等核心技术，它让在单张消费级显卡上运行 DeepSeek-V4-Flash（284B）等超大规模模型成为可能。

FreeToken 的核心技术突破：

首先，全层双缓冲预取机制极大地缓解了数据传输的瓶颈。在 GPU 处理当前计算层的同时，系统会在后台通过 PCIe 通道提前将下一层的专家权重准备就绪。这种流水线式的数据流彻底消除了 I/O 等待时间，让计算资源不再被传输延迟所拖累。

其次，带宽自适应混合调度系统展现了极高的灵活性。该引擎能够实时监测 PCIe 的实际吞吐量与 CPU 的计算负载，智能决定哪些专家模型权重应驻留在 GPU 高速缓存中，哪些应由 CPU 协同计算。这种动态平衡策略最大限度地挖掘了硬件系统的整体潜能。

此外，面向 Agent 的智能状态复用技术，专门解决了编程助手或复杂逻辑推理中频繁修改上下文的问题。通过在 Token 边界设置轻量化锚点，系统仅需对变动部分进行增量计算，大幅削减了重复处理历史信息的冗余开销。

最后，弹性显存热扩缩容功能保障了系统的高度鲁棒性。当用户在进行游戏或图形渲染等高负载任务导致显存被抢占时，FreeToken 不会直接崩溃，而是自动平滑地将部分任务转移至 CPU，实现了真正的服务零停机。

性能与应用价值：

在实际测试中，FreeToken 的表现令人瞩目。相比主流的 Ollama 框架，其推理速度提升了 2 到 4 倍，首 Token 的响应延迟更是降低了 42% 到 58% 之多。对于那些依赖多轮工具调用的 Agent 场景，其响应效率提升了 65% 至 80%。

FreeToken 的出现，极大地降低了 AI 大模型的本地部署门槛。无论是从事 AI 编程辅助的研究者，还是希望在日常办公电脑上体验超大规模模型的普通用户，都能通过简单的安装流程（如通过命令行执行 uv pip install “freetoken[accel]”）获得行业领先的推理性能。它让 AI 摆脱了对昂贵数据中心集群的依赖，真正实现了将顶尖模型带入个人工作站的愿景。

更多技术细节与项目进展，可通过以下渠道了解：

项目官网：https://www.flashml.ai/

GitHub 开源仓库：https://github.com/FlashML-org/FreeToken

学术论文：https://arxiv.org/pdf/2608.16157