手机秒变超脑!微软Phi-3已经超越主流大模型!

AIGC动态7个月前发布 AI范儿
6 0 0

手机秒变超脑!微软Phi-3已经超越主流大模型!

AIGC动态欢迎阅读

原标题:手机秒变超脑!微软Phi-3已经超越主流大模型
关键字:模型,语言,数据,知识,人工智能
文章来源:AI范儿
内容字数:5245字

内容摘要:


点击上方蓝字关注我们“微软phi-3系列语言模型,尤其phi-3-mini,凭借创新数据集(精选网络数据与合成数据)和高效训练,实现小模型媲美Mixtral 8x7B、GPT-3.5的性能。该系列在MMLU、MT-bench等评测中展现卓越语言理解与对话能力,且phi-3-mini可通过集成搜索功能弥补知识局限。人工智能领域的语言模型竞赛如火如荼,各路选手纷纷刷新记录,追求更大、更强。大型语言模型 (LLMs) 的规模从五年前的仅 10 亿个参数(GPT-2 有 15 亿个参数)猛增到今天的万亿个参数。这项工作的动力源于通过训练大型模型获得的看似可预测的改进,即所谓的缩放定律。
但是,这些定律假定数据源是“固定的”。这种假设现在被前沿LLMs本身的存在大大打乱了,它使我们能够以新颖的方式与数据进行交互。
近日,微软推出的phi-3系列,尤其是phi-3-mini,犹如一匹低调却实力超群的黑马,将顶尖的语言理解能力浓缩进一部普通的智能手机。
phi-3-mini,是一个在 3.3 万亿个Token上训练的 38 亿参数语言模型,通过学术基准测试和内部测试衡量,其整体性能可与 Mixtra


原文链接:手机秒变超脑!微软Phi-3已经超越主流大模型!

联系作者

文章来源:AI范儿
作者微信:AI_Insights
作者简介:AI领域四大媒体之一。 智能未来,始于Prompt!

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...