标签：内存
4090成A100平替？token生成速度只比A100低18%，上交大推理引擎火了
机器之心报道 机器之心编辑部PowerInfer 使得在消费级硬件上运行 AI 更加高效。上海交大团队最新推出了超强 CPU/GPU LLM 高速推理引擎 PowerInfer。PowerInfe...
进入苹果最神秘的芯片实验室，回顾苹果历代CPU构架，展现3万亿公司成长之路
新智元报道编辑：alan 润【新智元导读】苹果创造了资本主义历史上最成功的产品，成为第一家市值达到1万亿美元的企业。让我们一起探究苹果最神秘的芯片研发部...
不是大模型全局微调不起，只是LoRA更有性价比，教程已经准备好了
选自 Sebastian Raschka 博客机器之心编译编辑：佳琪这是作者 Sebastian Raschka 经过数百次实验得出的经验，值得一读。增加数据量和模型的参数量是公认的提...
AWS和英伟达打造了一台16,384个超级芯片的超级计算机
点击上方蓝字关注我们“ 亚马逊网络服务（AWS）与Nvidia达成战略合作，提供基于Nvidia GPU的生成AI基础设施，包括Ceiba项目创建的AI超级计算机，Nvidia DGX Cl...
M3 MacBook Pro 评测：Mac 可以打游戏了，但这不是它最大的亮点
长板更长短板不短众所周知，人眼之所以能看见色彩斑斓的世界，是因为不同波长的光反射到了我们眼里，波长较长的光成为了明艳的红色，波长较短的光则是深郁的...
S-LoRA：一个GPU运行数千大模型成为可能
机器之心报道编辑：蛋酱一般来说，大语言模型的部署都会采用「预训练 — 然后微调」的模式。但是，当针对众多任务（如个性化助手）对 base 模型进行微调时，训...
最强AI芯片英伟达H200深夜发布，Llama2-70B推理提速90%，2024年二季度发货
机器之心报道编辑：蛋酱、陈萍芯片巨头英伟达，又打出一张王牌。英伟达在 2023 年全球超算大会（SC2023）上发布了目前世界上最强的 AI 芯片 H200。这款新的 G...
囤H100的都成了大冤种！英伟达发布最新AI芯片H200：性能提升2倍，成本下降50%
编译 | 核子可乐、Tina 周一，半导体行业巨头英伟达发布了新一代人工智能芯片 H200，旨在为各种 AI 模型提供训练和部署支持。H200 芯片是目前用于训练最先进...
最强大模型训练芯片H200发布！141G大内存，AI推理最高提升90%，还兼容H100
梦晨 克雷西 发自 凹非寺量子位 | 公众号 QbitAI英伟达老黄，带着新一代GPU芯片H200再次炸场。官网毫不客气就直说了，“世界最强GPU，专为AI和超算打造”。听说...
英伟达推出H200，用于训练 AI 模型的最新高端芯片
点击上方蓝字关注我们“ Nvidia发布了新的H200 AI加速器，速度几乎翻倍，采用HBM3e内存。此外，云服务提供商将于明年提供H200实例，GH200超级芯片也将升级。Eo...
爱立信被曝裁掉整个广州研发团队：赔偿N+3加年终奖；英伟达将为中国定制三款芯片；马斯克旗下首款机器人将开源 | AI一周资讯
整理 | 凌敏 英伟达将为中国“定制”三款芯片，本月 16 日正式推出；OpenAI 工程师平均薪酬 92.5 万美元；苹果高管回应“黄金内存”质疑：8GB 和其它系统的 16GB ...
当大模型被塞进PC：如何提升算力利用效率？
作者 | 凌敏 ChatGPT 的爆火掀起了 AI 大模型热潮，也进一步拉动了算力需求的爆发，面对呈指数级增长的算力需求，如何用得起、用得上、用得好算力成为大家普...
首款生成式AI移动芯片天玑9300：能跑330亿参数大模型
机器之心报道作者：泽南AI 画图一秒生成，大语言模型一秒 20 token。2023 年是生成式 AI 的元年，我们手上的移动设备也在加速进入大模型时代。11 月 6 日晚，...
天玑9300拿下生成式AI最强移动芯，端侧支持330亿大模型，1秒内AI画图，全新全大核架构做底座
明敏 发自 凹非寺量子位 | 公众号 QbitAI最强生成式AI终端芯片，现已易主！天玑9300一举支持运行最大330亿参数大模型，短短几周时间内刷新业界纪录。它是业界...
OpenAI大佬甩出「喵喵GPT」黑客！分享ChatGPT成功的秘密：极限压榨GPU资源
新智元报道编辑：润【新智元导读】OpenAI的工程团队经理（Engineering Manager）Evan Morikawa在一个开发者活动中分享了如何带领OpenAI的工程团队来应对ChatG...
粤公网安备 44011502001135号