跟硅谷的核心AI公司聊完后,得到了这 60 条关键洞察
重塑世界的力量不在硅谷,而在一代中国从业者的努力中。
原标题:跟硅谷的核心AI公司聊完后,得到了这 60 条关键洞察
文章来源:Founder Park
内容字数:20957字
锦秋基金硅谷Scale With AI活动观察:中国力量崛起
本文总结了锦秋基金在硅谷举办的Scale With AI活动后,组织者石头的一些观察和认知。活动汇聚了众多AI领域的大厂和人才,石头从中得出了一些重要的结论。
1. LLM发展趋势:Pre-training时代终结,Post-training机遇涌现
1. LLM的Pre-training阶段已接近瓶颈,Scaling速度放缓,但Post-training仍有巨大潜力。Multi-model的出现,使得数据和算力成为关键因素,新的架构也成为突破点。
2. Pre-training对数据质量要求不高,而Post-training则对数据质量要求极高,强化学习(RL)在Post-training中扮演着重要角色,它并非提升模型智力,而是优化思考模式。
3. 大模型优化主要在Post-training阶段进行,用于提升安全性、构建Multi-agent框架,优化模型的应用效果。
4. 未来LLM发展方向可能包括:模型架构变化、知识模型解耦,以及大模型生成数据训练小模型等。
5. 随着Scaling Law达到极限,闭源和开源模型的差距将缩小。
6. Post-training团队建设:5人规模即可,需涵盖基础设施搭建、数据管理、模型训练、产品判断等方面。
7. 数据pipeline构建至关重要,需要高效迭代,构建数据循环和护城河。
2. 视频模型发展:Scaling Law瓶颈尚远,但技术路径多元化
1. 视频生成技术仍处于早期阶段,数据集匮乏是主要瓶颈,开源版本的难度也较高。
2. 未来视频生成技术将呈现多元化趋势,不同场景选择不同的技术栈。
3. 视频的Scaling Law远未达到LLM的水平,模型架构优化和高效的数据使用至关重要。
4. 提升视频生成速度的方法包括生成低分辨率画面、步数蒸馏等。
5. 长视频生成的未来在于故事性,而非单纯的时长。
6. 视频模型和其他模态的融合是未来发展方向,但目前仍面临诸多挑战。
3. 具身智能:人类级泛化能力的机器人尚远,但特定场景应用可期
1. 具身机器人尚未迎来类似ChatGPT的“关键时刻”,通用性、可靠性和可扩展性是关键挑战。
2. 机器人泛化面临环境复杂性、物理交互问题和人机交互不确定性等挑战。
3. 斯坦福实验室选择聚焦家庭场景,应对老龄化社会需求。
4. 场景调试至关重要,需要与领域专家合作,确保机器人适应特定场景。
5. 仿真技术是解决数据闭环问题的重要手段,但Sim-to-Real Gap仍然是挑战。
6. 具身多模态模型具有巨大潜力,但数据整合和融合是关键难点。
7. 机器人数据共享面临诸多挑战,需要探索新的机制和平台。
4. AI应用及AI Coding趋势
1. 硅谷VC认为2025年是AI应用投资大年,但对AI产品的壁垒要求很高。
2. AI Native公司标准与传统SaaS公司不同,其优势在于低Customer Acquisition cost和高效的AI Scaling。
3. AI Coding重要趋势是推理增强技术,例如O3或O1方法,可以显著提升代码代理效率。
4. GitHub Copilot是AI Coding领域的主要竞争对手。
5. 客户成功对于AI Coding工具的采用至关重要。
总而言之,虽然硅谷是AI创新的中心,但石头认为,重塑世界的力量也来自一代中国AI从业者的努力,这值得我们关注。
联系作者
文章来源:Founder Park
作者微信:
作者简介:来自极客公园,专注与科技创业者聊「真问题」。