“洋抖难民”攻占小红书！中国AI出战，帮全球网友无缝冲浪

原生融合模态训练有望开启AI能力的新增长曲线。

原标题：“洋抖难民”攻占小红书！中国AI出战，帮全球网友无缝冲浪
文章来源：智东西
内容字数：6787字

商汤“日日新”：原生融合多模态大模型引领AI新篇章

本文介绍了商汤科技推出的“日日新”融合大模型，该模型采用原生融合模态训练方法，在多模态领域取得了显著突破，并展现出强大的应用潜力。

1. “日日新”的卓越性能

   “日日新”融合大模型在SuperCLUE 2024年度报告和OpenCompass多模态评测中均取得第一名，其中文科成绩甚至超越了OpenAI的o1模型。 它能够处理图像、文本、视频等多种信息，实现深度融合和推理，并展现出超越传统模型的理解能力和推理能力。例如，它能够准确识别并定位图片中的元素，并进行更深层次的推理，例如判断消防局位置的合理性。 与其他同类模型相比，“日日新”在处理复杂场景、理解图文关系以及进行跨模态任务方面表现更出色，有效克服了传统模型中存在的“跷跷板效应”，即在提升某种模态能力的同时，其他模态能力下降的问题。

2. 突破传统局限，实现技术创新

   “日日新”的成功源于其在原生融合模态训练上的两项关键技术创新：融合模态数据合成和融合任务增强训练。这些创新解决了困扰多模态研究的“跷跷板”问题，实现了模态之间的无缝衔接，让模型能够更全面、更准确地理解和处理信息。 传统图文对齐模型依赖文字描述，容易造成信息损失，而“日日新”则能有效利用广泛存在的天然多模态数据，并通过合成数据来弥补天然数据的不足，从而提升模型能力。

3. 广泛的应用场景和商业价值

   “日日新”已应用于商汤旗下产品，例如商量和办公小浣熊，并展现出其在多种场景下的应用价值。它可以作为游戏军师、文案助手，帮助用户解读复杂的文档，甚至分析工厂生产过程中的潜在风险，并提出解决方案。 这种真正的多模态能力，让“日日新”能够更好地理解现实世界的需求，成为用户在各种复杂业务场景中的得力助手。未来，“日日新”还可能与汽车、智能硬件、具身智能机器人等结合，进一步扩展其应用范围。

4. 原生融合：通往世界模型的必由之路

   商汤“日日新”的原生融合多模态训练方法具有显著的成本优势，其训练成本仅为传统方法的60%。 作者认为，要构建真正能够理解和预测外部世界的“世界模型”，就必须实现多种模态的深度融合。“日日新”的成功，为构建世界模型提供了重要的技术路径和方向，也预示着多模态原生融合将成为未来AI发展的大势所趋。

联系作者

文章来源：智东西
作者微信：
作者简介：智能产业新媒体！智东西专注报道人工智能主导的前沿技术发展，和技术应用带来的千行百业产业升级。聚焦智能变革，服务产业升级。