谢谢微软，又又又Open了！一口气发布3款Phi-3.5新模型，领先Llama3.1和谷歌同级模型

AIGC动态欢迎阅读

原标题：谢谢微软，又又又Open了！一口气发布3款Phi-3.5新模型，领先Llama3.1和谷歌同级模型
关键字：模型,微软,参数,基准,上下文
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说原创作者 | 付奶茶家人们！微软又用爱发电了！一觉醒来，微软发布了最新的小模型三兄弟：
Phi-3.5-MoE-instruct
Phi-3.5-mini-instruct
Phi-3.5-vision-instruct
三兄弟的表现可以说是相当的不错，其中，Phi-3.5-MoE 在基准测试中击败了 Llama 3.1 8B、Mistral-Nemo-12B，Gemini 1.5 Flash。在推理能力方面它也优于其他一些较大的模型，仅落后于 GPT-4o-mini，直接分分钟登顶同级模型！
真不错呀！让奶茶带大家看一下！
不同用途不同选择！三个Phi 3.5模型有不同的专长！
Phi-3.5 MoE – 微软专家大集合大哥Phi-3.5 MoE 是一个混合专家模型，将多个不同的模型类型组合成一个，其中每个模型类型专门从事不同的任务。该模型有420亿个活动参数的架构，支持128k token上下文长度。
划重点：
6.6B 活动参数（总参数42B）
128K 上下文、多语言和相同分词器
在 4.9T tokens 上进行训练
使用 512 张 H100 进行训练（23

原文链接：谢谢微软，又又又Open了！一口气发布3款Phi-3.5新模型，领先Llama3.1和谷歌同级模型