仅8个月就把GPT-4o带到了端侧，面壁智能拿到了什么秘籍？｜甲子光年

端侧GPT-4o水平模型，成色如何？

原标题：仅8个月就把GPT-4o带到了端侧，面壁智能拿到了什么秘籍？｜甲子光年
文章来源：甲子光年
内容字数：9068字

面壁智能MiniCPM-o 2.6：端侧GPT-4o级全模态模型深度解析

本文深度解析面壁智能最新发布的端侧全模态模型MiniCPM-o 2.6，探讨其技术优势、应用场景及未来发展方向。

1. MiniCPM-o 2.6：端侧GPT-4o水平的成色如何？

MiniCPM-o 2.6参数量为8B，号称达到GPT-4o水平。虽然GPT-4o参数量未公开，但有消息称其mini版本参数量约为8B，与MiniCPM-o 2.6参数量一致。然而，MiniCPM-o 2.6对标的是参数量远高于其的GPT-4o。

在实际测试中，MiniCPM-o 2.6展现出卓越的全模态实时流式理解能力，尤其在视频理解方面，它能够持续感知用户提问前后的画面和声音，实现更接近人眼的自然交互，在游戏测试中表现出色。 在音频理解方面，MiniCPM-o 2.6不仅能理解语音，还能精准识别背景音，并生成具备丰富情感和语气的真人质感音频，具备音色克隆能力。此外，其在视觉理解方面也达到端侧全模态模型最佳水平。

在多个权威榜单上，MiniCPM-o 2.6取得了SOTA成绩，例如在StreamingBench上比肩GPT-4o和Claude-3.5-Sonnet；在语音理解和生成方面均超越了其他开源模型。

2. 面壁智能的“秘籍”：端到端全模态架构和全模态流式机制

MiniCPM-o 2.6的成功源于其独特的“端到端全模态架构”和“全模态流式机制”。传统的语音和视频模型多采用级联方式，信息容易丢失。而MiniCPM-o 2.6通过端到端方式训练和推理，避免信息损耗，提升了音视频理解和生成效果。其“全模态流式机制”则实现了低延迟的模态并发，提升用户体验。

此外，MiniCPM-o 2.6还采用了超高多模态像素密度技术，高效压缩视频帧，降低成本，并通过RAG方式管理输入的Token，从而能够处理较长的视频。

3. 应用场景及未来展望

MiniCPM-o 2.6瞄准了AI硬件市场，其应用场景涵盖AI手机、AI PC、智能座舱、智能家居和具身机器人等领域。面壁智能已与多家企业合作，加速模型落地。李大海认为，“端侧模型+AI硬件”是未来发展方向，未来的每一个硬件都应该是智能化的。

面壁智能专注于具身化属性较强的设备，因为智能体大部分被动信息都是通过视觉和听觉完成的，MiniCPM-o 2.6的全模态特性能够让设备更好地感知环境并进行交互，实现更高级的智能。

总而言之，MiniCPM-o 2.6作为一款端侧GPT-4o级全模态模型，凭借其强大的性能和独特的技术优势，有望在AI硬件领域掀起新的浪潮，推动AI应用的进一步发展。

联系作者

文章来源：甲子光年
作者微信：
作者简介：甲子光年是一家科技智库，包含智库、社群、企业服务版块，立足中国科技创新前沿阵地，动态跟踪头部科技企业发展和传统产业技术升级案例，推动人工智能、大数据、物联网、云计算、新能源、新材料、信息安全、大健康等科技创新在产业中的应用与落地。