标签:分布式

PPTV创始人姚欣AI再创业,“分布式推理”终于有人做了

克雷西 发自 凹非寺量子位 | 公众号 QbitAI这个月,PPTV创始人姚欣再次站到了聚光灯下,组织了一场分布式云计算论坛,向外界揭开了他的新篇章。 姚欣的第二次...
阅读原文

LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI

新智元报道编辑:alan 【新智元导读】近日,Nous Research宣布了一项重大突破,通过使用与架构和网络无关的分布式优化器,研究人员成功将训练LLM时GPU间的通...
阅读原文

分布式人工智能盛会 DAI 2024 征稿:Agent Day,强化学习之父 Richard Sutton 将出席

颜水成、Sergey Levine以及DeepMind科学家将做主旨报告。1会议简介随着科技的飞速发展,人工智能已经成为了推动社会进步的重要力量。在这个时代,我们有幸见...
阅读原文

PyTorch团队首发技术路线图,近百页文档披露2024下半年发展方向

新智元报道编辑:乔杨 【新智元导读】最近,PyTorch团队首次公布了开发路线图,由内部技术文档直接修改而来,披露了这个经典开源库下一步的发展方向。如果你...
阅读原文

聊聊大模型推理中的分离式推理

原文:https://zhuanlan.zhihu.com/p/706469785 一开始本文叫做“聊聊大模型推理中的存储优化”的,但是发布之后感觉还是要叫分离式推理更好,虽然我本来是想写...
阅读原文

阿里智能体“组装工厂”开源!0经验搞定上万Agent并发

阿里巴巴通义实验室 投稿量子位 | 公众号 QbitAI让多智能体开发就像搭积木,阿里巴巴通义实验室开源多智能体编程框架与开发平台AgentScope。 该平台专门为多...
阅读原文

分布式人工智能盛会 DAI 2024 征稿:Agent Day,数十顶会级别会议报告,Jim Fan 将出席!

1会议简介随着科技的飞速发展,人工智能已经成为了推动社会进步的重要力量。在这个时代,我们有幸见证并参与到分布式人工智能(Distributed Artificial Intel...
阅读原文

清华交叉团队在Science发布中国AI光芯片“太极”,全球首创架构迈向AGI

来源:新智元 编辑:桃子 好困 【导读】巨耗算力大模型,离通往AGI目标又近了一步。清华团队首创AI光芯片架构,研制全新「太极」实现了160 TOPS/W通用智能计...
阅读原文

清华首款AI光芯片登上Science,全球首创架构迈向AGI

新智元报道编辑:桃子 好困 【新智元导读】巨耗算力大模型,离通往AGI目标又近了一步。清华团队首创AI光芯片架构,研制全新「太极」实现了160 TOPS/W通用智能...
阅读原文

性能提升、成本降低,这是分布式强化学习算法最新研究进展

机器之心原创 作者:Jiying 编辑:H4O深度强化学习(Deep Reinforcement Learning,DRL)是一种公认的解决连续决策问题的有效技术。为了应对 DRL 的数据低效...
阅读原文

PyTorch 2.2大更新!集成FlashAttention-2,性能提升2倍

新智元报道编辑:alan 【新智元导读】新的一年,PyTorch也迎来了重大更新,PyTorch 2.2集成了FlashAttention-2和AOTInductor等新特性,计算性能翻倍。新的一...
阅读原文

千卡规模训练算力利用率达 60%,蚂蚁开源分布式训练加速扩展库 ATorch

近日,蚂蚁集团宣布开源大模型分布式训练加速扩展库ATorch。ATorch可针对不同模型和硬件资源,实现深度学习自动资源动态优化和分布式训练稳定性提升,可帮助...
阅读原文

阿里与上交大提出 LLM 长文本计算新解法:可处理文本长达 1900k 字节、效率提升 2.4 倍

DistAttention与DistKV-LLM结合,带来云端自然语言处理新变革。编译 | 郭 思 编辑丨陈彩娴 在实际应用大模型的过程中,尤其是处理长文本的上下文信息时,如何...
阅读原文

云原生数据库 GaiaDB 架构设计解析:高性能、多级高可用

百度智能云团队在今年 11-12 月特别推出了四期《百度智能云数据库》系列云智公开课,为大家全面地介绍了以云原生数据库 GaiaDB 和分布式数据库 GaiaDB-X 为代...
阅读原文

国际分布式人工智能会议 DAI 2023 将于 11月30日在新加坡开幕

从双人围棋比赛到多人德扑博弈,从相对静态的简单场景到动态变化的复杂环境,从单智能体到多智能体…… 这些研究趋势无一例外在向分布式 AI(Distributed Artif...
阅读原文
12