藏不住了！OpenAI的推理模型有时用中文「思考」

让我们说中文！

原标题：藏不住了！OpenAI的推理模型有时用中文「思考」
文章来源：机器之心
内容字数：4980字

OpenAI o1 的“中文碎碎念”：AI 模型为何切换语言思考？

近日，OpenAI 的推理模型 o1 出现了一个奇特的现象：在用英文提问的情况下，它会在内部推理过程中切换到中文“碎碎念”，引发了AI领域的广泛讨论。类似现象也出现在谷歌的 Gemini 和 ChatGPT 等其他模型上，它们会在推理过程中随机插入其他语言的单词或短语。

1. 现象描述：模型的“多语言思考”

   o1 模型在解决英文编码题时，会先用英语进行部分推理，然后突然切换到中文进行“草稿”式的思考，最终输出结果仍然是英文。类似地，Gemini 会插入古吉拉特语单词，ChatGPT 会使用对话中未出现的语言来命名对话。这种现象不仅发生在语言模型中，多模态模型 GPT-4o 也出现了类似的“让我们说中文？”的情况。

2. 可能原因：训练数据与语言效率

   专家们提出了几种可能的解释。一种观点认为，这可能是由于训练数据中中文占比过高导致的。许多 AI 模型的训练数据来自第三方数据标注服务，而这些服务很多位于中国，因此中文数据量可能较大。此外，中文的象形文字系统可能在表达某些概念时比英文更简洁，从而节省了模型的 token 使用，提高了推理效率。一些工程师认为，AI 选择使用中文可能是因为在某些表达上更经济，可以直接解概念压缩包，从而在同等 token 下进行更深入的思考。

3. 另一种观点：语言选择与模型认知

   然而，也有专家认为将责任完全归咎于训练数据是不够全面的。o1 也可能切换到其他语言，这表明模型可能是在选择最顺手的语言来解题，或者这只是模型的“幻觉”。阿尔伯塔大学助理教授 Matthew Guzdial 认为，模型并不理解语言本身，只是处理 tokens，因此语言切换可能是训练过程中建立的特殊关联。

4. 类比人类：双语思维与最佳场景

   Hugging Face 工程师 Tiezhen Wang 将模型的语言切换类比于人类的双语思维：大脑会根据场景自然选择最合适的语言。程序员选择编程语言也是类似的道理，不同的语言适用于不同的场景。这启示我们，训练 AI 时也应该让它接触多种语言，学习不同文化的思维方式，从而使其更全面和公平。

5. 结论：意外的惊喜还是潜在问题？

   许多专家认为，如果语言切换对思考有帮助，且最终输出结果符合预期，那么这并非 bug，反而可能是一种“以我为主，为我所用”的智能涌现。但同时也需要进一步思考，最佳的 AI 思考方式是否应该与具体语言无关。

总而言之，AI 模型在推理过程中切换语言的现象是一个复杂的问题，其背后可能涉及训练数据、语言效率、模型认知等多个方面。 这促使我们更深入地思考 AI 的学习机制和智能涌现，以及如何构建更全面、更公平的 AI 系统。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台