30B！每秒100tokens！这是AMD对AI PC的“幻想时间”

AIGC动态欢迎阅读

原标题：30B！每秒100tokens！这是AMD对AI PC的“幻想时间”
关键字：模型,参数,内存,带宽,精度
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说 原创作者 | 谷雨龙泽随着AI的高速发展，从去年开始，挂在服务器的云端AI模型已经不能满足技术发烧友的胃口了，AI PC应运而生。
AI PC就是内嵌个人大模型的电脑，具备更强的算力、更大的存储空间和更顺畅的自然语言交互功能，其核心特征包括CPU、GPU和NPU的本地混合计算架构，能够支持个人终端和家庭主机/企业主机协同运算。
一直以来，受到硬件条件的限制，AI PC的AI表现一直不是很出色。没办法，自己电脑就那点东西，怎么能和一车一车显卡堆起来的云端大模型比呢？
但是这并不妨碍各大厂家对未来的美好畅想。近期，AMD就对未来的AI PC进行了预测：
未来的AI PC将以每秒100个token的速度运行30B参数模型！
30B和100token/s，意味着什么？AMD预测未来的AI PC将以每秒100个token的速度运行300亿参数模型，首个token的延迟达到100毫秒，而现在的技术只能做到70亿参数、每秒20个token，首个token的延迟为1至4秒。
▲现有AI PC（Ryzen AI 300）和AMD对AI PC的展望对比300亿参数的模型相比当前的70亿参数模

原文链接：30B！每秒100tokens！这是AMD对AI PC的“幻想时间”

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189