零一万物发布最新旗舰模型,百万 token 仅 0.99 元!李开复:定价没有亏本

零一万物发布最新旗舰模型,百万 token 仅 0.99 元!李开复:定价没有亏本

AIGC动态欢迎阅读

原标题:零一万物发布最新旗舰模型,百万 token 仅 0.99 元!李开复:定价没有亏本
关键字:模型,小米,万物,数字,成本
文章来源:AI前线
内容字数:0字

内容摘要:


作者 | 褚杏娟
10 月 16 日,继上半年千亿参数模型 Yi-Large 之后,零一万物正式对外发布最新旗舰模型 Yi-Lightning。与 Yi-Large 相比,Yi-Lightning 在模型性能更进一步的前提下,推理速度方面也迎来极大提升。
零一万物内部评测数据显示,在 8xH100 算力基础下,以同样的任务规模进行测试,Yi-Lightning 的首包时间(从接收到任务请求到系统开始输出响应结果之间的时间)仅为 Yi-Large 的一半,最高生成速度也提升了近四成,大幅实现了旗舰模型的性能升级。
外部模型中,零一万物选择与 GPT-4o 做对比:
据零一万物介绍,Yi-Lightning 推理速度的提升,一方面得益于其自身的 AI Infra 能力,另一方面,Yi-Lightning 选择采用 Mixture of Experts(MoE)混合专家模型架构,并在模型训练过程中做了新的尝试。
MoE 模型由多个专家网络(Experts)构成,这种模型设计使其能够根据任务难度,动态选择激活哪些专家网络,这种动态选择机制旨在平衡推理成本和模型性能,确保模型在处理不同难度任务


原文链接:零一万物发布最新旗舰模型,百万 token 仅 0.99 元!李开复:定价没有亏本

联系作者

文章来源:AI前线
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...