标签：注意力

机器之心报道 编辑：陈陈、蛋酱像听书一样「读」论文。‍先来听一段英文播客，内容是不是很熟悉？是的，这俩人就是在聊那篇《Attention is All You Need》。在...

机器之心报道 机器之心编辑部Transformer 在深度学习领域取得巨大成功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分，...

明敏 发自 凹非寺量子位 | 公众号 QbitAIAttention is all you need. 至少在矩阵这儿是。 Mamba架构最新进展：仅需1%计算量，新模型性能达SOTA。 能做到这一...

机器之心报道 编辑：Panda过去几年间，Transformer 架构已经取得了巨大的成功，同时其也衍生出了大量变体，比如擅长处理视觉任务的 Vision Transformer（ViT...

梦晨 发自 凹非寺量子位 | 公众号 QbitAI跨GPU的注意力并行，最高提速8倍，支持512万序列长度推理。 环注意力（Ring Attention）后继者——树注意力（Tree Atte...

机器之心报道 编辑：陈陈用 FlexAttention 尝试一种新的注意力模式。理论上，注意力机制就是你所需要的一切。然而在实际操作中，我们还需要优化像 FlashAtten...

灭霸出现 浏览器 至此干净一个稍微有些年头的梗： 在互联网出现之前，最小的粒子是夸克，在互联网出现之后，最小的粒子是广告上的那个叉。 现在，苹果打算将...

9月6-7日，2024全球AI芯片峰会将在北京召开。目前，AMD人工智能事业部高级总监王宏强，清华大学交叉信息研究院助理教授、北极雄芯创始人马恺声，珠海芯动力创...

新智元报道编辑：乔杨 庸庸 【新智元导读】AlphaFold 3的论文太晦涩？没关系，斯坦福大学的两位博士生「图解」AlphaFold 3 ，将模型架构可视化，同时不遗漏任...

夕小瑶科技说 原创作者 | Richard 随着大语言模型的规模不断扩大，如何在保持模型性能的同时提高其效率，成为了当前研究的热点问题。最近，清华大学联合斯坦...

编译 | 核子可乐、Tina 很多朋友可能没听说过 Jacopo Pantaleoni 的名字，但或多或少应该见证过他的工作成果。Pantaleoni 的专长是将数据转换为图像，作为首...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...

新智元报道编辑：编辑部 【新智元导读】时隔一年，FlashAttention又推出了第三代更新，专门针对H100 GPU的新特性进行优化，在之前的基础上又实现了1.5～2倍的...

机器之心报道 编辑：陈陈、小舟740 TFLOPS！迄今最强 FlashAttention 来了。随着大型语言模型（LLM）加速落地，扩展模型上下文窗口变得越来越重要。然而，Tra...

机器之心报道 编辑：陈陈2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来，大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然...