“小语言模型”或成为庞大人工智能选项的替代品

AIGC动态欢迎阅读

原标题：“小语言模型”或成为庞大人工智能选项的替代品
关键字：报告,模型,参数,微软,语言
文章来源：人工智能学家
内容字数：0字

内容摘要：

ISTOCK
来源：IEEE电气电子工程师学会
科技公司已经陷入了建立大型语言模型（LLM，https://spectrum.ieee.org/ai-index-2024）的竞争中。例如，今年4月，Meta宣布了4000亿个参数Llama 3，其中包含的参数数量是OpenAI 2022年最初的ChatGPT模型的两倍，即决定模型如何响应查询的变量。虽然没有得到证实，但GPT-4的参数估计约为1.8万亿。
然而，在过去的几个月里，包括苹果和微软在内的一些最大的科技公司推出了小型语言模型。这些模型只是LLM模型的一小部分，但在许多基准测试中，它们在文本生成方面可以与LLM模型相匹配，甚至优于LLM模型。
6月10日，在苹果全球开发者大会上，该公司发布了其“Apple Intelligence”模型（https://www.apple.com/apple-intelligence/），其参数约为30亿。4月下旬，微软发布了其Phi-3 SLM系列，其型号包含38亿至140亿个参数。
在一系列测试中（https://arxiv.org/pdf/2404.14219），微软最小的模型Phi-3-

原文链接：“小语言模型”或成为庞大人工智能选项的替代品