标签:集群

从动物群体行为到大脑空间决策,复杂性如何启发智能探索?

导语鸟群、蝗虫群、鱼群,在这些看似混乱的生物群体中,秩序奇迹般地涌现。不同物种的群体行为在细节上有所差异,但它们大致遵循物理学家们几个世纪以来总结...
阅读原文

全球首个支持单任务千卡规模异构芯片混合训练平台,来自无问芯穹

机器之心发布 机器之心编辑部“打开水龙头前,我们不需要知道水是从哪条河里来的。同理,未来我们用各种 AI 应用时,也不会知道它调用了哪些基座模型,用到了...
阅读原文

国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事

万卡集群杀出国产GPU黑马!万P算力万亿参数,零代码修改可迁移。 作者|ZeR0 编辑|漠影 “AI主战场,万卡是最低标配!” 在2024世界人工智能大会开幕前夕,摩尔...

首个国产全功能GPU的万卡集群来了!“中国英伟达”出品

金磊 发自 凹非寺量子位 | 公众号 QbitAI纯国产GPU的万卡集群,它来了! 而且还是国内首个全功能GPU,兼容CUDA的那种。 这个集结了超过10000张高性能GPU的超...
阅读原文

AI主战场,万卡是标配:国产GPU万卡万P集群来了!

机器之心报道 机器之心编辑部Scaling Law 持续见效,让算力就快跟不上大模型的膨胀速度了。「规模越大、算力越高、效果越好」成为行业圭皋。主流大模型从百亿...
阅读原文

如何构建10万张H100的大模型训练集群

直播预告 | 7月2日10点,「智猩猩AI新青年讲座」第242讲正式开讲,香港大学计算机系HKU-MMLAB二年级博士生梁志烜将直播讲解《利用技能学习的扩散策略实现层次...
阅读原文

全美TOP 5机器学习博士:痛心,实验室H100数量为0!同实验室博士用GPU得靠抢

新智元报道编辑:编辑部 【新智元导读】全美TOP 5的机器学习博士痛心发帖自曝,自己实验室里H100数目是0!这也引起了ML社区的全球网友大讨论。显然,相比普林...
阅读原文

有钱买卡还不够,10万卡H100集群有多难搭?一文解析算力集群技术要点

新智元报道编辑:乔杨 好困 【新智元导读】在英伟达市值猛涨、各家科技巨头囤芯片的热潮中,我们往往会忽视GPU芯片是如何转变为数据中心算力的。最近,一篇Se...
阅读原文

千卡集群大模型训练思考与总结

直播预告 | 6月20日晚7点,「智猩猩机器人新青年讲座」第8讲正式开讲,清华大学THUNLP lab在读博士胡锦毅将直播讲解《面向多模态大模型的具身智能平台LEGENT...
阅读原文

网络架构如何支持超万卡的大规模 AI 训练?

演讲嘉宾 | 席永青 AI 训练场景的算力 Scaling 核心是网络,依赖于大规模、高性能的数据中心网络集群来实现算力的规模扩展,为此,阿里云设计了 HPN7.0 架构...
阅读原文

“反英伟达联盟”成立,UALink能否取代NVLink?|甲子光年

一流的企业做标准。作者|王艺 编辑|赵健‍‍ 看不下去英伟达的垄断,科技巨头们联合出手了。 据科技媒体TechCrunch最新消息,英特尔、谷歌、微软、Meta、AMD...
阅读原文

马斯克 xAI 获 60 亿美元融资,要造一个「超级算力工厂」

xAI 计划建造 超级算力工厂就在刚刚, xAI 官宣拿到了 60 亿美元的 B 轮融资,其估值也一跃达到约 180 亿美元。 本轮融资的主要投资者包括特斯拉和 SpaceX 的...
阅读原文

马斯克烧几十亿美元造最大超算中心,10万块H100训练Grok追赶GPT-4o

新智元报道编辑:乔杨好困 【新智元导读】最近,许久没有新动向的马斯克放出了大消息——他旗下的人工智能初创公司xAI将投入巨资建造一个超算中心,以保证Grok ...
阅读原文

英伟达赢麻了!马斯克xAI超级算力工厂曝光,10万块H100、数十亿美元

机器之心报道 编辑:杜伟英伟达:尽管建,用的还是我的芯片,最近几年,随着大语言模型的飞速发展与迭代,科技巨头们都竞相投入巨额财力打造超级计算机(或大...
阅读原文

焱融科技张文涛:将大模型训练效率提升40%!详解多云架构下高效存储策略丨GenAICon 2024

破题大模型算力荒,如何打造高性能存储底盘? 2024中国生成式AI大会于4月18-19日在北京举行,在大会第二天的主会场AI Infra专场上,焱融科技CTO张文涛以《多...
阅读原文