标签:集群
如何构建10万张H100的大模型训练集群
直播预告 | 7月2日10点,「智猩猩AI新青年讲座」第242讲正式开讲,香港大学计算机系HKU-MMLAB二年级博士生梁志烜将直播讲解《利用技能学习的扩散策略实现层次...
全美TOP 5机器学习博士:痛心,实验室H100数量为0!同实验室博士用GPU得靠抢
新智元报道编辑:编辑部 【新智元导读】全美TOP 5的机器学习博士痛心发帖自曝,自己实验室里H100数目是0!这也引起了ML社区的全球网友大讨论。显然,相比普林...
有钱买卡还不够,10万卡H100集群有多难搭?一文解析算力集群技术要点
新智元报道编辑:乔杨 好困 【新智元导读】在英伟达市值猛涨、各家科技巨头囤芯片的热潮中,我们往往会忽视GPU芯片是如何转变为数据中心算力的。最近,一篇Se...
千卡集群大模型训练思考与总结
直播预告 | 6月20日晚7点,「智猩猩机器人新青年讲座」第8讲正式开讲,清华大学THUNLP lab在读博士胡锦毅将直播讲解《面向多模态大模型的具身智能平台LEGENT...
网络架构如何支持超万卡的大规模 AI 训练?
演讲嘉宾 | 席永青 AI 训练场景的算力 Scaling 核心是网络,依赖于大规模、高性能的数据中心网络集群来实现算力的规模扩展,为此,阿里云设计了 HPN7.0 架构...
“反英伟达联盟”成立,UALink能否取代NVLink?|甲子光年
一流的企业做标准。作者|王艺 编辑|赵健 看不下去英伟达的垄断,科技巨头们联合出手了。 据科技媒体TechCrunch最新消息,英特尔、谷歌、微软、Meta、AMD...
马斯克 xAI 获 60 亿美元融资,要造一个「超级算力工厂」
xAI 计划建造 超级算力工厂就在刚刚, xAI 官宣拿到了 60 亿美元的 B 轮融资,其估值也一跃达到约 180 亿美元。 本轮融资的主要投资者包括特斯拉和 SpaceX 的...
马斯克烧几十亿美元造最大超算中心,10万块H100训练Grok追赶GPT-4o
新智元报道编辑:乔杨好困 【新智元导读】最近,许久没有新动向的马斯克放出了大消息——他旗下的人工智能初创公司xAI将投入巨资建造一个超算中心,以保证Grok ...
英伟达赢麻了!马斯克xAI超级算力工厂曝光,10万块H100、数十亿美元
机器之心报道 编辑:杜伟英伟达:尽管建,用的还是我的芯片,最近几年,随着大语言模型的飞速发展与迭代,科技巨头们都竞相投入巨额财力打造超级计算机(或大...
焱融科技张文涛:将大模型训练效率提升40%!详解多云架构下高效存储策略丨GenAICon 2024
破题大模型算力荒,如何打造高性能存储底盘? 2024中国生成式AI大会于4月18-19日在北京举行,在大会第二天的主会场AI Infra专场上,焱融科技CTO张文涛以《多...
如何为混合AI打好算力地基?联想集团已率先交卷
混合AI时代算力的“万全之策”。 作者|程茜 编辑|漠影 如今,个人大模型和企业大模型以及在其基础上发展出的个人智能体和企业智能体,将与公有大模型共存互补,...
千卡集群算力竞赛,国产大模型终于等来了“中国英伟达”|甲子光年
国产算力新突破。作者|赵健 在替代英伟达的道路上,国产算力一直面临一个“鸡生蛋、蛋生鸡”的难题。 当国产芯片问世之后,要想真正用起来,需要种子客户用实...
国产GPU重大利好!“中国英伟达”千卡集群已就位
金磊 发自 凹非寺量子位 | 公众号 QbitAI算力基础设施建设,北京市有了最新的大动作—— 《北京市算力基础设施建设实施方案(2024-2027年)》。 其中,《方案》...
百模大战引爆「千卡集群竞赛」,“中国英伟达”交卷了
大模型引发AI算力荒,新一代千卡集群喂饱国产新苗子。 作者|三北 编辑|漠影 大模型正引发一波新的AI算力荒,从此前的芯片紧缺,上升为AI算力集群级的饥渴症。...
OpenAI陷巨大算力荒,国内大厂抢先破局!打破单芯片限制,算力效率提升33%
新智元报道编辑:编辑部 【新智元导读】一切计算皆AI已成为行业共识。大模型参数规模从千亿走向万亿,从单一走向MoE,对算力的需求愈加庞大。我们需要理清的...