观点博弈：我们还应该期待AGI吗？

如果我们能够继续扩大大型语言模型（LLMs++）的规模（并因此获得更好、更通用的性能），那么有理由期待到2040年（或更早）出现强大的人工智能（AI），它能够实现大多数认知劳动的自动化，并加速进一步的AI进展。

原标题：观点博弈：我们还应该期待AGI吗？
文章来源：AI前线
内容字数：19403字

大型语言模型的规模化：2040年AGI的希望与挑战

本文探讨了大型语言模型（LLM）规模化是否能最终实现人工通用智能（AGI）的问题。作者通过虚构的“坚信者”和“质疑者”的辩论，呈现了规模化正反两方面的论据。

1. 数据瓶颈：质疑者的担忧

质疑者认为，即使按照乐观估计的扩展曲线，构建一个能撰写科学论文的可靠AI也需要海量数据，比现有数据多出5个数量级（10万倍）。虽然算法改进、多模态训练和数据循环利用等技术能提高数据效率，但不足以弥补如此巨大的差距。自我对弈/合成数据也面临评估和计算两大挑战，其所需计算量可能比现有模型高出9个数量级。质疑者认为，目前的LLM在常识推理和长期任务上的表现平庸，暗示其泛化能力不足，规模扩大可能无法解决根本问题。

2. 规模化的持续有效性：坚信者的观点

坚信者反驳道，过去LLM的性能提升已经持续了8个数量级，并且在计算量增加百万倍的情况下，性能损失微乎其微。这表明规模化仍然有效。他们认为，LLM的“低效率”主要源于训练数据和损失函数的不匹配，而通过大规模数据抓取和改进算法，可以实现显著的性能提升。自我对弈/合成数据虽然尚未得到充分验证，但其潜力巨大，并可能与人类进化过程类似，通过迭代改进不断提升模型能力。

3. 基准测试的局限性

质疑者指出，常用的基准测试（如MMLU和BIG-bench）主要考察的是模型的记忆和检索能力，而非真正的智力。这些测试中，模型的表现已经接近或超过人类水平，但这并不能说明其具备真正的推理和创造能力。在更能体现自主解决问题能力的基准测试（如SWE-bench）上，LLM的表现仍然非常糟糕。这表明，目前的规模化可能并未带来真正的智力提升。

4. 世界模型和基于洞察力的学习

坚信者认为，LLM能够完成一些需要“世界模型”才能完成的任务，例如根据语言描述绘制独角兽。这表明，LLM已经学习到了关于世界和思维方式的知识。他们认为，通过规模化，模型将自然而然地发展出更高效的元学习方法，最终实现基于洞察力的学习。

5. 质疑者的反驳和最终结论

质疑者反驳了“智能=压缩”的观点，认为压缩本身并不代表智能。他们认为，即使规模化继续有效，也无法保证其能最终实现AGI。作者最终给出了70%的概率预测：规模化结合算法和硬件进步，将在2040年实现AGI；而30%的概率认为，LLM及其类似方法将最终失败。

文章最后还讨论了模型的基于洞察力的学习能力以及灵长类动物进化是否为规模化提供了证据，进一步丰富了对规模化有效性的讨论。

联系作者

文章来源：AI前线
作者微信：
作者简介：面向AI爱好者、开发者和科学家，提供大模型最新资讯、AI技术分享干货、一线业界实践案例，助你全面拥抱AIGC。