标签：梯度

梦晨 发自 凹非寺量子位 | 公众号 QbitAI跨GPU的注意力并行，最高提速8倍，支持512万序列长度推理。 环注意力（Ring Attention）后继者——树注意力（Tree Atte...

一水 发自 凹非寺量子位 | 公众号 QbitAI用光训练神经网络，清华成果最新登上了Nature！ 无法应用反向传播算法怎么办？ 他们提出了一种全前向模式（Fully For...

机器之心报道 机器之心编辑部在刚刚过去的一天，来自清华的光电智能技术交叉创新团队突破智能光计算训练难题，相关论文登上 Nature。 论文共同一作是来自清华...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...

克雷西 发自 凹非寺量子位 | 公众号 QbitAI只需激活60%的参数，就能实现与全激活稠密模型相当的性能。 微软亚洲研究院的一项新研究，实现了模型的完全稀疏激...

夕小瑶科技说 原创作者 | 谢年年在Transformer被提出以前，以LSTMs为代表的RNNs网络结构由于计算简单、擅长处理序列数据常被用作NLP领域的基础架构。但受其结...

梦晨 发自 凹非寺量子位 | 公众号 QbitAI新架构，再次向Transformer发起挑战！ 核心思想：将RNN中的隐藏状态换成可学习的模型。 甚至在测试时都可以学习，所...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...

机器之心报道 编辑：杜伟这是Karpathy「Neural Networks：zero to hero」系列视频的最新内容。AI 大牛 Andrej Karpathy 又「上新」了，这次一口气放出了长达...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...

新智元报道编辑：LRS 【新智元导读】PhysDreamer利用材质点法（MPM）对物体的各个物理属性进行估计，实现了逼真的交互式响应结果，在视频生成领域向更真实的...

丰色 发自 凹非寺量子位 | 公众号 QbitAI纵观生成式AI领域中的两个主导者：自回归和扩散模型。 一个专攻文本等离散数据，一个长于图像等连续数据。 如果，我...

智猩猩与智东西将于4月18-19日在北京共同举办2024中国生成式AI大会，爱诗科技创始人王长虎，启明创投合伙人周志峰，Open-Sora开发团队潞晨科技创始人尤洋，「...

夕小瑶科技说 原创编辑 | 松果 引言：探索大型语言模型中低秩适应的新方法在自然语言处理领域，大语言模型（LLMs）的迅猛发展带来了前所未有的性能提升。然而...