32K上下文，Mistral 7B v0.2 基模型突然开源了

AIGC动态欢迎阅读

原标题：32K上下文，Mistral 7B v0.2 基模型突然开源了
关键字：模型,微软,人工智能,智能,公司
文章来源：机器之心
内容字数：3478字

内容摘要：

机器之心报道
编辑：蛋酱刚刚，Mistral AI 的模型又更新了。
这次开源一如既往地「突然」，是在一个叫做 Cerebral Valley 的黑客松活动上公布的。PPT 一翻页，全场都举起了手机拍照：这次开源的 Mistral 7B v0.2 Base Model ，是 Mistral-7B-Instruct-v0.2 背后的原始预训练模型，后者属于该公司的「Mistral Tiny」系列。
此次更新主要包括三个方面：
将 8K 上下文提到了 32K；
Rope Theta = 1e6；
取消滑动窗口。下载链接：https://models.mistralcdn.com/mistral-7b-v0-2/mistral-7B-v0.2.tar
更新之后的性能对比是这样的：场外观众迅速跟进。有人评价说：「Mistral 7B 已经是同尺寸级别中最好的模型，这次改进是一个巨大的进步。我将尽快在这个模型上重新训练当前的许多微调。」Mistral AI 的第一个 7B 模型发布于 2023 年 9 月，在多个基准测试中实现了优于 Llama 2 13B 的好成绩，让 Mistral AI

原文链接：32K上下文，Mistral 7B v0.2 基模型突然开源了