小模型卷起来了：Mistral联合英伟达开源12B小模型，128k上下文

AIGC动态欢迎阅读

原标题：小模型卷起来了：Mistral联合英伟达开源12B小模型，128k上下文
关键字：模型,分词,上下文,指令,高效
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
机器之心编辑部小模型，正在成为 AI 巨头的新战场。今天凌晨，OpenAI 突然发布了 GPT-4o 的迷你版本 ——GPT-4o mini。这个模型替代了原来的 GPT-3.5，作为免费模型在 ChatGPT 上提供。其 API 价格也非常美丽，每百万输入 token 仅为 15 美分，每百万输出 token 60 美分，比之前的 SOTA 模型便宜一个数量级，比 OpenAI 此前最便宜的 GPT-3.5 Turbo 还要便宜 60% 以上。
OpenAI CEO 山姆・奥特曼对此的形容是：通往智能的成本已经「too cheap to meter」。与动辄上千亿参数的大模型相比，小模型的优势是显而易见的：它们不仅计算成本更低，训练和部署也更为便捷，可以满足计算资源受限、数据安全级别较高的各类场景。因此，在大笔投入大模型训练之余，像 OpenAI、谷歌等科技巨头也在积极训练好用的小模型。
其实，比 OpenAI 官宣 GPT-4o mini 早几个小时，被誉为「欧洲版 OpenAI」的 Mistral AI 也官宣了一个小模型 ——Mistral NeMo。这个小模型

原文链接：小模型卷起来了：Mistral联合英伟达开源12B小模型，128k上下文