为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下

AIGC动态欢迎阅读

原标题：为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下
关键字：模型,数据,问题,知识,能力
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
机器之心编辑部让模型知道自己擅长什么、不擅长什么是一个很重要的问题。还记得这些天大模型被揪出来的低级错误吗？
不知道 9.11 和 9.9 哪个大，数不清 Strawberry 单词里面有多少个 r…… 每每被发现一个弱点，大模型都只能接受人们的无情嘲笑。嘲笑之后，大家也冷静了下来，开始思考：低级错误背后的本质是什么？
大家普遍认为，是 Token 化（Tokenization）的锅。
在国内，Tokenization 经常被翻译成「分词」。这个翻译有一定的误导性，因为 Tokenization 里的 token 指的未必是词，也可以是标点符号、数字或者某个单词的一部分。比如，在 OpenAI 提供的一个工具中，我们可以看到，Strawberry 这个单词就被分为了 Str-aw-berry 三个 token。在这种情况下，你让 AI 大模型数单词里有几个 r，属实是为难它。除了草莓 (Strawberry) 之外，还有一个很好的例子就是「Schoolbooks」这个词，AI 模型会把它分为 school 和 books 两个 token。这个问题也吸引了刚刚投身 AI

原文链接：为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下