微软推出Phi-3 Mini：3.8B参数小到能塞进手机，性能媲美GPT-3.5

AIGC动态欢迎阅读

原标题：微软推出Phi-3 Mini：3.8B参数小到能塞进手机，性能媲美GPT-3.5
关键字：模型,微软,报告,语言,离线
文章来源：算法邦
内容字数：5948字

内容摘要：

4月23日，微软在官网开源了小语言模型（SLM）——Phi-3-mini。这是微软Phi-3系列模型推出的首个模型。Phi-3-mini作为微软Phi系列的产品，以其38亿参数和3.3T tokens的庞大训练数据量，在语言、推理、编码和数学基准测试中超越了众多数百亿参数规模的模型。
此外，Phi-3-mini有4k和128k tokens两个上下文长度变体，经过预训练和指令调整，可以更好地理解人类的语言、表达、逻辑并执行不同类型的指令。
与大语言模型相比，Phi-3-mini模型操作更为简便。该模型的体积很小，这一特性使其可以在端侧部署和运行。据称，该模型可以作为机器人离线访问，且具有不亚于GPT-3.5的性能。
Phi-3-mini的成本大幅降低。微软生成式AI研究副总裁塞巴斯蒂安·布贝克（Sébastien Bubeck）称，相比于其他相似功能的模型，Phi-3-mini成本可能只有十分之一。
据微软研究团队称，Phi-3-mini小体积、高性能的创新归功于由合成数据组成的数据集。该数据集由大量已过滤的网络数据和其他AI制作的儿童读物中的合成数据组成。
微软计划在未来几

原文链接：微软推出Phi-3 Mini：3.8B参数小到能塞进手机，性能媲美GPT-3.5