权重、代码、数据集全开源，性能超越Mistral-7B，苹果小模型来了

AIGC动态欢迎阅读

原标题：权重、代码、数据集全开源，性能超越Mistral-7B，苹果小模型来了
关键字：模型,数据,基准,团队,机器
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
机器之心编辑部小模型成趋势？本周，OpenAI 上线小模型 GPT-4o-mini，小模型赛道正式开卷。近期加入这一赛道的还有苹果。
最近，苹果公司作为 DataComp-LM（DCLM）项目的研究机构之一，在 Hugging Face 上发布了 DCLM-7B 开源模型。该模型性能已经超越了 Mistral-7B，并且正在逼近其他领先的开源模型，包括 Llama 3 和 Gemma。论文链接：https://arxiv.org/pdf/2406.11794
项目链接：https://huggingface.co/apple/DCLM-7B
论文作者之一、苹果机器学习团队 Vaishaal Shankar 将 DCLM 模型描述为「真正开源的最佳模型」，因为 DCLM 不仅开源了模型权重，还开源了训练代码和预训练数据集。研究介绍
大型语言模型（LLM）目前面临的一个评估挑战是缺乏受控比较。LLM 研究通常会比较采用不同架构、计算或超参数的模型，因此难以理清影响语言模型质量的因素。
基于此，研究团队提出了语言模型数据比较新基准 ——DCLM，这是语言模型训练数据整编（cur

原文链接：权重、代码、数据集全开源，性能超越Mistral-7B，苹果小模型来了