标签:网络
如何构建10万张H100的大模型训练集群
直播预告 | 7月2日10点,「智猩猩AI新青年讲座」第242讲正式开讲,香港大学计算机系HKU-MMLAB二年级博士生梁志烜将直播讲解《利用技能学习的扩散策略实现层次...
迄今最快的网络流算法,网友:几乎与数学理论一样快
金磊 发自 凹非寺量子位 | 公众号 QbitAI迄今为止最快、近乎完美的网络流(Network Flow)算法,来了! 有多快? 对于任何类型的网络,计算速度几乎与数学理...
有钱买卡还不够,10万卡H100集群有多难搭?一文解析算力集群技术要点
新智元报道编辑:乔杨 好困 【新智元导读】在英伟达市值猛涨、各家科技巨头囤芯片的热潮中,我们往往会忽视GPU芯片是如何转变为数据中心算力的。最近,一篇Se...
Intel入局大模型,烧钱搜索130亿种网络结构,让LLaMa2瘦身30%
夕小瑶科技说 原创作者 | 任同学大语言模型在多个领域大放异彩,但它们的高内存和计算成本限制了广泛使用。神经架构搜索(NAS)能自动找到最优模型架构,减少...
用神经架构搜索给LLM瘦身,模型变小,准确度有时反而更高
机器之心报道 编辑:Panda用神经架构搜索给 LLM 瘦身,同等准确度可让 LLaMA2-7B 模型大小降 2 倍。大型语言模型(LLM)的一个主要特点是「大」,也因此其训...
网络架构如何支持超万卡的大规模 AI 训练?
演讲嘉宾 | 席永青 AI 训练场景的算力 Scaling 核心是网络,依赖于大规模、高性能的数据中心网络集群来实现算力的规模扩展,为此,阿里云设计了 HPN7.0 架构...
上交提出TrustGAIN,提出6G网络中可信AIGC新模式!
夕小瑶科技说 原创作者 | Axe_越4月16日至18日,2024全球6G技术大会在南京召开。会上,全球移动通信标准制定组织3GPP(第三代合作伙伴计划)的3位联席主席分...
清华军团推出中国首个对标Sora的视频大模型Vidu,扒一扒它背后的模型架构
夕小瑶科技说 原创作者 | 小戏就在前天,Vidu 在 2024 中关村论坛年会之中横空出世。 伴随着“中国首个”,“Sora 级视频模型”,“模拟真实的物理世界”等关键词下...
清华团队推出新平台:用去中心化AI打破算力荒
允中 发自 凹非寺量子位 | 公众号 QbitAI最近,一则数据点出了AI领域算力需求的惊人增长—— 根据业内专家的预估,OpenAI推出的Sora在训练环节大约需要在4200-1...
一阶优化算法启发,北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法
机器之心专栏 机器之心编辑部以神经网络为基础的深度学习技术已经在诸多应用领域取得了有效成果。在实践中,网络架构可以显著影响学习效率,一个好的神经网络...
低成本算法,大幅提升视觉分类鲁棒性!悉尼大学华人团队发布全新EdgeNet方法
新智元报道编辑:LRS 【新智元导读】EdgeNet可以处理从干净的自然图像或嘈杂的对抗性图像中提取的边缘,产生鲁棒的特征,具有轻量级、即插即用等特点,能够无...
Up主已经开始鬼畜,腾讯开源「AniPortrait」让照片唱歌说话
机器之心报道 编辑:PandaAniPortrait 模型是开源的,可以自由畅玩。「小破站鬼畜区的新质生产力工具。」 近日,腾讯开源发布的一个新项目在推上获得了如此评...
315锤出生成式AI诈骗!“假老板”从员工骗走186万,眼见不一定为实
315重磅:AI换脸视频真假难辨!手机二手主板隐藏惊天黑产。 作者|云鹏 李水青 编辑|李水青 智东西3月16日报道,昨天晚上,年度“打假夜”央视3.15晚会如约而至...
Meta公布Llama 3训练集群细节!储备60万块H100迎接AGI
新智元报道编辑:润 【新智元导读】LLM开源从Infra做起!Meta公布了自己训练Llama 3的H100集群细节,看来Llama 3快来了。每年3月份,照例各家大厂又要开始秀...
Llama3训练集群揭秘,共24,576 个 GPU
点击上方蓝字关注我们“Meta 公司透露了其专为 AI 训练设计的先进硬件基础设施细节。这些集群包括 24,576 个 GPU,采用了创新的网络结构解决方案,为支持当前...