「LLM」这个名字不好,Karpathy认为不准确、马斯克怒批太愚蠢

「LLM」这个名字不好,Karpathy认为不准确、马斯克怒批太愚蠢

AIGC动态欢迎阅读

原标题:「LLM」这个名字不好,Karpathy认为不准确、马斯克怒批太愚蠢
关键字:语言,模型,问题,名字,领域
文章来源:机器之心
内容字数:0字

内容摘要:


机器之心报道
编辑:陈陈LLM 应该改名吗?你怎么看。在 AI 领域,几乎每个人都在谈论大型语言模型,其英文全称为 Large Language Models,简写为 LLM。
因为 LLM 中有「Language」一词,因此,大家默认这种技术和语言密切相关。
然而,知名 AI 大牛 Andrej Karpathy 却对此有着独特的见解:「大型语言模型(LLM)名字虽然带有语言二字,但它们其实与语言关系不大,这只是历史问题,更确切的名字应该是自回归 Transformer 或者其他。
LLM 更多是一种统计建模的通用技术,它们主要通过自回归 Transformer 来模拟 token 流,而这些 token 可以代表文本、图片、音频、动作选择、甚至是分子等任何东西。因此,只要能将问题转化为模拟一系列离散 token 的流程,理论上都可以应用 LLM 来解决。实际上,随着大型语言模型技术栈的日益成熟,我们可能会看到越来越多的问题被纳入这种建模范式。也就是说,问题固定在使用 LLM 进行『下一个 token 的预测』,只是每个领域中 token 的用途和含义有所不同。
如果核心问题真的变成


原文链接:「LLM」这个名字不好,Karpathy认为不准确、马斯克怒批太愚蠢

联系作者

文章来源:机器之心
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...