AIGC动态欢迎阅读
原标题:350亿参数、开放权重,Transformer作者创业后推出新大模型
关键字:模型,报告,上下文,语言,工具
文章来源:机器之心
内容字数:4628字
内容摘要:
机器之心报道
编辑:杜伟开源大语言模型宇宙又来了一个强劲对手。Transformer 作者参与创立的 Cohere 公司推出的大模型Command-R 在可扩展、RAG和工具使用三个方面具有显著的优势。今天,由 Transformer 作者之一 Aidan Gomez 参与创立的人工智能初创公司 Cohere 迎来了自家大模型的发布。
Cohere 推出的模型名为「Command-R」,参数量为 35B,它是一个针对大规模生产工作负载的全新大语言模型研究版本。该模型属于「可扩展」模型类别,能够平衡高效率和高精度, 使企业用户超越概念验证,进入生产阶段。作为一种生成模型,Command-R 针对检索增强生成(RAG)等长上下文任务以及使用外部 API 和工具进行了优化。该模型旨在与自家行业领先的嵌入(Embed)和重新排序(Rerank)模型配合使用,为 RAG 应用程序提供一流的集成,并在企业用例中具有出色表现。
就其架构而言,Command-R 是一种使用优化后 transformer 架构的自回归语言模型。在预训练后,模型使用监督微调(SFT)和偏好训练使自身与人类偏好保持一致,并
原文链接:350亿参数、开放权重,Transformer作者创业后推出新大模型
联系作者
文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...