原标题:Anthropic联创:Scaling Law没崩,但推理成天价!有了TTT,25年AI更加速
文章来源:新智元
内容字数:5825字
AI发展并未停滞:规模法则(Scaling Law)的未来与挑战
近日,Anthropic联合创始人Jack Clark在《Import AI》新闻通讯中驳斥了AI发展已触及瓶颈的观点,并预测2025年AI进展将进一步加速。他认为,当前的AI发展远未达到极限,规模法则并未失效。
规模法则的延续:超越单纯的模型扩大
Clark以OpenAI的o系列模型为例,特别是o3模型,证明了AI的巨大发展空间。o3并非简单地扩大模型规模,而是通过“测试时计算”(test-time compute),即在推理时进行强化学习和额外计算,从而实现显著性能提升。这种“边思考边执行”的能力为规模法则开辟了新的可能性。Clark预计,2025年科技公司将结合传统的大模型扩展方法和测试时计算等新方法,进一步加速AI进展。
o3模型的惊艳表现与高昂成本
o3在多个基准测试中取得了突破性进展,例如在科学理解基准GPQA上达到88%,在ARC-AGI上超越人类工作者,在FrontierMath上达到25%的成绩,以及在Codeforces上排名第175。这些成就证明了测试时计算的有效性。然而,o3的成功也伴随着高昂的成本:其高强度推理版本的每个任务成本高达20美元,这主要源于其实时创建新程序解决问题的机制,需要处理大量的token。
成本预测的挑战与Anthropic的下一步
Clark指出,基于推理扩展范式的模型使得成本预测变得更加困难,因为资源需求会根据具体任务而变化。 虽然o3展现了强大的性能,但其高昂的运行成本也引发了人们对未来AI发展成本的担忧。目前,Anthropic尚未发布与OpenAI o系列或Google Gemini Flash Thinking竞争的推理模型,其Opus 3.5模型的发布也存在不确定性,这反映了开发先进LLM的复杂性和挑战。
开发先进LLM的复杂性
Anthropic CEO Dario Amodei解释了开发先进LLM的复杂性,包括漫长的训练过程、大量的计算资源需求、复杂的微调过程以及严格的安全测试等。他认为,开发先进LLM更像是一门艺术,而非单纯的科学,每个新版本模型的性能和特性都可能出现不可预测的变化。即使Opus 3.5最终发布,其高昂的运行成本是否合理仍需进一步考量。
总而言之,Clark的观点认为AI发展远未触及瓶颈,规模法则仍在发挥作用,但新的方法,如测试时计算,将成为未来AI发展的关键。然而,高昂的计算成本将成为未来AI发展的主要挑战,需要进一步的研究和创新来解决。
联系作者
文章来源:新智元
作者微信:
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人对人类社会与文明进化的影响,领航中国新智能时代。