李沐交大演讲全文:创业的动机要么来自欲望,要么来自恐惧
AIGC动态欢迎阅读
原标题:李沐交大演讲全文:创业的动机要么来自欲望,要么来自恐惧
关键字:模型,数据,解读,问题,算法
文章来源:Founder Park
内容字数:0字
内容摘要:
AI大神李沐在母校上海交大的演讲火了。
在这场一个半小时的演讲里,李沐从大模型的算力和技术、多模态趋势、应用现状聊到了自己的AI创业心得、以及创业的痛苦和感悟。
可以说,比他那篇创业回顾(《李沐:创业一年,人间三年》)信息量更大。
一些有意思的点:
机器学习是老中医,深度学习特别是大语言模型像炼丹,数据是炼丹的材料,算力是炼丹的火力和设备,算法就是丹方了。丹方每年都在进步,即使丹方一样,细节不一样结果也会很不一样。
内存是目前模型尺寸的一大瓶颈,英伟达虽然是领先者,但在这块的技术不如AMD和TPU。
语言模型参数规模的主流会在100B-500B之间,比较好的一线的模型就是 500B,超过 500B 不是训练不动,而是做 serving 很难。在谷歌历史上,他们就没有让 500B 以上的模型上过线。
音乐模型的制约不是技术问题,而是商业问题,实际还是版权的问题。
语言模型已经达到了较高的水平,大约在 80 到 85 分之间。音频模型在可接受的水平,处于能用阶段,大约在 70-80 分之间。但在视频生成方面,尤其是生成具有特定功能的视频尚显不足,整体水平大约在 50 分左右。
对于文科白领
原文链接:李沐交大演讲全文:创业的动机要么来自欲望,要么来自恐惧
联系作者
文章来源:Founder Park
作者微信:
作者简介:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...