AIGC动态欢迎阅读
原标题:手机秒变超脑!微软Phi-3已经超越主流大模型!
关键字:模型,语言,数据,知识,人工智能
文章来源:AI范儿
内容字数:5245字
内容摘要:
点击上方蓝字关注我们“微软phi-3系列语言模型,尤其phi-3-mini,凭借创新数据集(精选网络数据与合成数据)和高效训练,实现小模型媲美Mixtral 8x7B、GPT-3.5的性能。该系列在MMLU、MT-bench等评测中展现卓越语言理解与对话能力,且phi-3-mini可通过集成搜索功能弥补知识局限。人工智能领域的语言模型竞赛如火如荼,各路选手纷纷刷新记录,追求更大、更强。大型语言模型 (LLMs) 的规模从五年前的仅 10 亿个参数(GPT-2 有 15 亿个参数)猛增到今天的万亿个参数。这项工作的动力源于通过训练大型模型获得的看似可预测的改进,即所谓的缩放定律。
但是,这些定律假定数据源是“固定的”。这种假设现在被前沿LLMs本身的存在大大打乱了,它使我们能够以新颖的方式与数据进行交互。
近日,微软推出的phi-3系列,尤其是phi-3-mini,犹如一匹低调却实力超群的黑马,将顶尖的语言理解能力浓缩进一部普通的智能手机。
phi-3-mini,是一个在 3.3 万亿个Token上训练的 38 亿参数语言模型,通过学术基准测试和内部测试衡量,其整体性能可与 Mixtra
联系作者
文章来源:AI范儿
作者微信:AI_Insights
作者简介:AI领域四大媒体之一。 智能未来,始于Prompt!
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...