350亿参数、开放权重,Transformer作者创业后推出新大模型

AIGC动态8个月前发布 机器之心
13 0 0

350亿参数、开放权重,Transformer作者创业后推出新大模型

AIGC动态欢迎阅读

原标题:350亿参数、开放权重,Transformer作者创业后推出新大模型
关键字:模型,报告,上下文,语言,工具
文章来源:机器之心
内容字数:4628字

内容摘要:


机器之心报道
编辑:杜伟开源大语言模型宇宙又来了一个强劲对手。Transformer 作者参与创立的 Cohere 公司推出的大模型Command-R 在可扩展、RAG和工具使用三个方面具有显著的优势。今天,由 Transformer 作者之一 Aidan Gomez 参与创立的人工智能初创公司 Cohere 迎来了自家大模型的发布。
Cohere 推出的模型名为「Command-R」,参数量为 35B,它是一个针对大规模生产工作负载的全新大语言模型研究版本。该模型属于「可扩展」模型类别,能够平衡高效率和高精度, 使企业用户超越概念验证,进入生产阶段。作为一种生成模型,Command-R 针对检索增强生成(RAG)等长上下文任务以及使用外部 API 和工具进行了优化。该模型旨在与自家行业领先的嵌入(Embed)和重新排序(Rerank)模型配合使用,为 RAG 应用程序提供一流的集成,并在企业用例中具有出色表现。
就其架构而言,Command-R 是一种使用优化后 transformer 架构的自回归语言模型。在预训练后,模型使用监督微调(SFT)和偏好训练使自身与人类偏好保持一致,并


原文链接:350亿参数、开放权重,Transformer作者创业后推出新大模型

联系作者

文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...