Step 3.5 Flash

Step 3.5 Flash – 阶跃星辰最新开源的基座模型

Step 3.5 Flash：效率与性能兼备的开源智能体基座模型

阶跃星辰近期推出了一款备受瞩目的开源基座模型——Step 3.5 Flash。这款模型专为高效能的智能体（Agent）应用场景量身打造，在设计上巧妙地融合了顶尖性能与卓越的计算效率。Step 3.5 Flash 采用了先进的稀疏混合专家（MoE）架构，虽然总参数规模高达 1960 亿，但在实际推理过程中，每生成一个 Token 只需激活其中的 110 亿参数，实现了惊人的资源节约。

核心亮点速览

Step 3.5 Flash 的性能表现在多个维度令人印象深刻。其推理速度峰值可达每秒 350 个 Token (TPS)，确保了复杂任务也能获得即时反馈。模型支持高达 256K 的超长上下文窗口，使其在处理海量信息时游刃有余。更引人注目的是，它在关键的智能体任务上，如数学推理和代码生成（SWE-bench 达到了 74.4% 的验证通过率），表现已能与当前市场上顶级的闭源模型相媲美。

该模型现已全面开源，并广泛兼容 vLLM、SGLang、llama.cpp 等主流推理框架。这意味着即便是配置主流的个人硬件，如 Mac Studio M4 Max 或 NVIDIA DGX Spark，用户也能在本地流畅部署，从而在享受高性能的同时，确保数据隐私的万无一失。

Step 3.5 Flash 的关键能力

• 极速响应能力：得益于 MTP-3 技术加持，模型能够实现高达 350 TPS 的生成速率，为多步骤复杂推理提供了近乎实时的响应体验。
• 卓越的 Agent 适应性：专为智能体工作流优化，在 SWE-bench 上的出色表现（74.4%）证明了其处理长期、复杂任务链条的强大能力。
• 海量信息处理：拥有的 256K 上下文容量，结合优化的注意力机制，使其能够高效地消化和理解巨量文本。
• 普适性部署：经过硬件优化，在消费级设备上也能保持流畅运行，极大地拓宽了应用边界。
• 高级代码能力：具备强大的编程天赋，能够流畅地进行代码自动补全、工具调用以及结构化输出，是开发者的得力助手。

背后的技术革新

Step 3.5 Flash 的高效性源于其精妙的技术栈：

• 稀疏 MoE 架构的精妙平衡：模型基于 45 层的 Transformer 核心，集成了 288 个细粒度的路由专家和 1 个共享专家。推理时，仅激活表现最佳的 Top-8 专家，使得 1960 亿参数的模型，在计算上仅相当于 110 亿参数的小模型，成功平衡了规模潜力与运行成本。
• MTP-3 多 Token 预测技术：通过结合滑动窗口注意力与专用的密集前馈预测头，模型单次前向传播即可并行生成 4 个 Token。此机制将典型场景的生成速率推升至每秒 100 至 300 个 Token，峰值甚至达到 350 TPS，极大地削减了解码延迟。
• 混合注意力机制的效率设计：模型交替使用 3:1 比例的滑动窗口注意力和全局注意力层。滑动窗口负责捕获局部细节，而全局层则关注远距离依赖关系。这种设计在处理 256K 这种超长文本时，有效控制了计算复杂度，确保了效率与性能的和谐统一。
• 全方位的推理优化：为了在服务化部署中榨取最大性能，Step 3.5 Flash 采用了专家并行（EP8）与张量并行（TP8）的混合部署策略，并辅以 FP8 量化技术减轻显存带宽压力。结合投机解码与 MTP 技术的协同作用，它在 Hopper 架构的 GPU 上展现出卓越的服务效率。

赋能多样化应用场景

Step 3.5 Flash 的特性使其成为众多前沿应用的理想基石：

• 软件工程加速器：作为底层引擎，它能为代码编写、自动调试及复杂的软件工程任务提供强大支持，其在 SWE-bench 上的高通过率印证了其编程实力。
• 深度智能体执行：无论是需要长时间规划的自主研究项目、细致入微的网页信息整合，还是跨平台的数据比对，它都能胜任长链条的智能体工作。
• 实时交互应用：得益于其高速生成能力，Step 3.5 Flash 非常适合用于需要即时响应的场景，如高端机器人、个性化在线辅导系统和智能客服。
• 海量数据洞察：能够高效地阅读和分析大型代码库、冗长的法律文件或复杂的学术论文，快速提炼关键信息。
• 本地化安全部署：对于金融、医疗或企业内部环境，其能够在本地设备上运行的特性，完美解决了数据不出内网的隐私合规要求。

获取与探索

开发者和研究人员可以通过以下渠道获取并深入了解 Step 3.5 Flash：

• 官方 GitHub 仓库：https://github.com/stepfun-ai/Step-3.5-Flash/
• HuggingFace 模型中心：https://huggingface.co/stepfun-ai/Step-3.5-Flash