研发超过 18 个月却还未见影子的 GPT-5(代号 Orion)项目又有了新爆料。
原标题:GPT-5 研发一年半进度堪忧!每轮 5 亿美金训练成本打水漂,还得雇人从头“造数据”
文章来源:AI前线
内容字数:5426字
GPT-5项目进展受阻:高昂成本与数据瓶颈
OpenAI的GPT-5项目(代号Orion)研发已超过18个月,却迟迟未见发布,其进展困难重重,引发业界关注。本文将总结该项目面临的主要挑战。
1. 巨额成本与回报的不确定性
据《华尔街日报》报道,GPT-5已进行过至少两轮训练,每次都耗资近5亿美元,但结果未能达到预期。如此高昂的成本,使得项目持续性面临质疑。即使成功,回报也存在极大的不确定性。
2. 数据瓶颈:现有数据不足以支撑模型发展
GPT-5的训练需要海量数据,而现有的公开互联网数据已不足以满足其需求。这导致OpenAI不得不另寻出路,尝试“从零开始创造数据”,雇佣软件工程师和数学家编写代码、解决数学问题,并记录其思考过程作为训练素材。这种方法效率低下,且依赖于AI生成数据的合成数据也存在风险,可能导致模型出错。
3. 开发过程中的技术挑战
GPT-5的开发比预期更加复杂。早期的“Arrakis”实验性训练进展缓慢,预示着大规模训练将耗时更长,成本更高。OpenAI被迫进行一系列技术调整,以应对模型训练现的问题。
4. 内部动荡与外部竞争压力
OpenAI内部面临人才流失和管理层动荡,多位关键高管和研究人员离职,影响了项目进度。同时,Anthropic、谷歌等竞争对手的崛起也加剧了压力,它们纷纷推出新一代模型,试图赶超OpenAI。
5. 资源竞争与战略调整
由于Orion项目进展受阻,OpenAI开始开发其他项目,例如简化版的GPT-4和AI视频生成工具Sora,但这导致了团队之间对有限计算资源的激烈竞争。
6. 行业瓶颈的隐忧
GPT-5的困境可能预示着AI发展已接近瓶颈期。依赖海量数据和更大模型的策略正在失效,数据增长的放缓限制了AI的进一步发展。
7. 未来展望
OpenAI尚未给出GPT-5的明确发布时间,其未来仍存在不确定性。项目能否成功,何时成功,都尚不明确。 高昂的成本、数据瓶颈以及内部和外部的压力,都对GPT-5的未来发展构成严峻挑战。
联系作者
文章来源:AI前线
作者微信:
作者简介:面向AI爱好者、开发者和科学家,提供大模型最新资讯、AI技术分享干货、一线业界实践案例,助你全面拥抱AIGC。