MiniCPM-SALA

MiniCPM-SALA – 面壁智能开源的9B端侧模型

面壁智能重磅推出MiniCPM-SALA，一款革新性的9B端侧大模型，为用户带来前所未有的长文本处理能力。该模型巧妙运用SALA（稀疏-线性混合注意力）这一独创架构，将75%的线性注意力用于高效的全局信息捕捉，而25%的稀疏注意力则专注于精确识别关键细节。辅以HyPE混合位置编码，MiniCPM-SALA实现了短文本与长文本的无缝衔接，真正打破了上下文长度的限制。

MiniCPM-SALA的独特优势

• 超长文本处理能力：模型能够轻松驾驭百万级（1M+）的上下文长度，并且在消费级显卡（如RTX 5090）上实现了完整的百万长度推理。
• 显著的推理速度提升：在256K序列长度下，MiniCPM-SALA的推理速度较同等规模的稠密模型快了3.5倍，效率惊人。
• 精简的显存占用：通过对KV Cache的精妙优化，即使在512K至1M的超长序列下，模型依然能够稳定运行，避免了显存溢出（OOM）的问题。
• 兼顾长短文本的通用性：在处理短文本时，MiniCPM-SALA的表现与Qwen3-8B相当，而其在长文本处理上的优势则更为突出。
• 优化端侧部署：模型专为手机、汽车、机器人等终端设备量身打造，使得在本地设备上运行具备长上下文能力的Agent成为可能。

MiniCPM-SALA的核心技术亮点

• SALA混合注意力机制：该架构巧妙融合了Lightning Attention（75%线性注意力）和InfLLM v2（25%稀疏注意力）。线性注意力以O(N)的复杂度实现了全局建模的效率，而稀疏注意力则按需聚焦于关键局部信息，从而在速度与精度之间取得了完美平衡。
• HyPE混合位置编码：为应对不同场景，线性层采用了RoPE以保持短文本的性能，稀疏层则运用NoPE，使KV-Cache与位置信息解耦，有效规避了长距离衰减效应，有力支撑了百万级上下文的高效检索。
• HALO低成本迁移技术：通过参数转换、隐状态对齐、层选择和知识蒸馏等四步骤，将全注意力模型高效迁移至混合架构，使得训练成本大幅降低，仅为从头预训练的25%。

MiniCPM-SALA的获取途径

• GitHub代码库：https://github.com/openbmb/minicpm
• HuggingFace模型中心：https://huggingface.co/openbmb/MiniCPM-SALA

MiniCPM-SALA的广泛应用前景

• 个性化智能助理：在本地设备上持久存储海量记录及用户偏好，打造真正理解用户、注重隐私的专属私人助理。
• 本地化企业知识库：支持离线百万字文档的专业问答，满足企业对敏感数据进行本地化处理的需求。
• 高效代码开发辅助：一次性理解整个代码仓库的上下文，为跨文件调试和复杂重构任务提供强大支持。
• 智能车载系统：整合车辆手册、导航记录和用户驾驶习惯，在车内离线环境中提供高度个性化的驾驶服务。
• 学术研究文献分析：能够快速处理海量学术论文，提取跨文献关联信息，极大提升综述写作的效率。