Day1前专访O1之父诺姆:测试时间计算是突破模型能力瓶颈的钥匙、O1的意义被低估了、不要再炒作提示技术
原标题:OpenAI o1之父诺姆访谈全文:测试时间计算是突破模型能力瓶颈的钥匙,o1的意义被低估了
文章来源:智猩猩GenAI
内容字数:32998字
第四届全球自动驾驶峰会及Noam Brown对大型语言模型的展望
本文结合两则信息:一则为第四届全球自动驾驶峰会的预告,另一则为OpenAI研究科学家Noam Brown接受采访的内容摘要。我们将分别对这两部分内容进行概括。
1. 第四届全球自动驾驶峰会
1月14日,第四届全球自动驾驶峰会将在北京举办。峰会将涵盖自动驾驶领域的多个重要方面,包括:
主会场:开幕式、端到端自动驾驶创新论坛以及城市NOA(Navigation on Autopilot)专题论坛。这些论坛将探讨自动驾驶技术的最新进展和未来发展方向。
分会场:自动驾驶视觉语言模型和自动驾驶世界模型两场技术研讨会。研讨会将深入探讨特定技术领域的最新研究成果和挑战。
峰会演讲嘉宾已全部确定,具体议程可参考文末海报。感兴趣的读者可以申请免费票或购票参会。
2. Noam Brown对大型语言模型的展望
OpenAI研究科学家Noam Brown在接受采访时,分享了他对大型语言模型(LLM)能力、测试时间计算以及AGI发展时间线的看法:
模型能力瓶颈:Brown认为LLM并非遇到硬性瓶颈,而是面临经济上的软性限制。单纯依靠扩大预训练规模的扩展方式成本过高,最终不可持续。
测试时间计算的潜力:Brown对测试时间计算非常看好,认为这是提升LLM能力性价比的关键。他估计测试时间计算的成本还有至少八个数量级的提升空间。
AGI发展时间线的修正:Brown之前预估AGI实现至少需要十年,现在他认为这个时间线被大大缩短了,主要是因为测试时间计算的突破。他认为未来可能面临其他挑战,但不会比已解决的问题更难。
O1模型的意义与应用:O1模型是测试时间计算的成果,在解决复杂推理问题方面优于GPT-4,但并非在所有任务上都优于GPT-4。Brown预计未来会融合成一个模型,兼具O1的深度推理能力和GPT-4的快速响应能力。O1已经在编码和解决复杂科学问题方面展现出潜力。
模型自主性与工具辅助:Brown认为未来的模型需要更强的自主性,能够自行分解复杂问题并找到解决步骤。他认为目前的辅助工具和提示工程技术是权宜之计,最终会被更强大的模型取代。
学术界的作用与研究方向:Brown认为学术界应专注于研究新型架构和扩展方法,而不是单纯追求在现有基准测试上的微小提升。他建议关注能够随着数据和计算能力增长而良好扩展的技术。
对未来人工智能发展的展望:Brown对模型在科学研究,特别是推动化学、生物学和数学等领域的发展充满期待,认为模型将成为研究人员的强大合作伙伴。他还认为多模态模型和机器人技术将有显著发展,但机器人技术受限于硬件迭代的缓慢速度。
Brown避免对AGI进行严格定义,他更关注人工智能如何提高人类生产力并改善生活。
总而言之,Brown的访谈内容强调了大型语言模型发展的新方向——测试时间计算,并对人工智能的未来发展展现出乐观态度,认为其将在科学研究和人类生活各个方面带来性的变革。
联系作者
文章来源:智猩猩GenAI
作者微信:
作者简介:智猩猩旗下公众号之一,深入关注大模型与AI智能体,及时搜罗生成式AI技术产品。