阿里巴巴发布了Marco-o1!
2024中国生成式AI大会(上海站)即将举办
根据大会预告,智猩猩共同主办的2024中国生成式AI大会将于12月5日至6日在上海举行。此次大会将汇聚众多行业专家,包含北大(临港)大模型对齐中心执行主任徐骅、腾讯优图实验室天衍研究中心负责人吴贤、银河通用机器人合伙人张直政等30多位嘉宾,分享最新的研究成果与实践经验,欢迎大家积极报名参加。
阿里巴巴全新开源推理模型Marco-o1
阿里巴巴国际数字商业部的MarcoPolo团队近期发布了全新的开源推理模型Marco-o1。该模型不仅专注于标准答案领域,更致力于解决开放性问题,标志着AI技术的进一步进化。Marco-o1通过思维链微调、蒙特卡罗树搜索和反思机制等创新技术,使AI在处理复杂问题时更加得心应手。
技术亮点全解析
Marco-o1的核心优势体现在以下几个方面:
- 思维链微调:团队使用开源CoT数据集和自研合成数据对基础模型进行全参数微调,打造出Marco-o1-CoT。
- MCTS解决方案扩展:将大语言模型与蒙特卡罗树搜索结合,利用模型输出的置信度来指导搜索,扩展了解决方案空间。
- 创新推理策略:实现全新的推理行动策略和反思机制,探索不同的行动粒度并引导模型进行自我反思。
- 突破性翻译应用:首次将大型推理模型应用于机器翻译,探索多语言翻译领域的推理时间扩展规律。
实力有多强?数据说话
在Qwen2-7B-Instruct的基础上,研究团队通过精心设计的数据集进行微调,实验结果显示:MGSM英文数据集准确率提升6.17%,中文数据集提升5.60%。特别是在翻译任务上,Marco-o1展现出优秀的表现,能优雅地翻译口语化表达,提升了翻译的自然性。
开箱即用,快速上手指南
想要体验Marco-o1的强大功能,只需几行代码即可直接加载模型。若想使用vLLM加速推理,可轻松运行相关脚本。
结语
Marco-o1的发布为AI的推理能力开辟了新天地,不仅能解决标准问题,更重要的是能够处理那些没有标准答案的开放性问题。这是AI迈向真正智能的重要一步,Marco-o1的开源将为整个AI社区带来新的可能性。
联系作者
文章来源:智猩猩GenAI
作者微信:
作者简介:智猩猩旗下矩阵账号之一,聚焦大模型开启的通用人工智能浪潮。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...