标签：注意力
我们还需要Transformer中的注意力吗？
选自interconnects 作者：Nathan Lambert 机器之心编译 机器之心编辑部状态空间模型正在兴起，注意力是否已到尽头？最近几周，AI 社区有一个热门话题：用无注...
从零手搓MoE大模型，大神级教程来了
克雷西 发自 凹非寺量子位 | 公众号 QbitAI传说中GPT-4的“致胜法宝”——MoE（混合专家）架构，自己也能手搓了！ Hugging Face上有一位机器学习大神，分享了如何...
大模型推理速度飙升3.6倍，「美杜莎」论文来了，贾扬清：最优雅加速推理方案之一
机器之心报道 编辑：杜伟、小舟去年，在加速大语言模型推理层面，我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今，...
大模型笔记！以LLAMA为例，快速入门LLM的推理过程
直播预告 | 下周一晚7点，「自动驾驶新青年讲座」第35讲正式开讲，LMDrive一作、香港中文大学MMLab在读博士邵昊将主讲《LMDrive：大语言模型加持的闭环端到端...
新一代注意力机制Lightning Attention-2：无限序列长度、恒定算力开销、更高建模精度
机器之心专栏 机器之心编辑部Lightning Attention-2 是一种新型的线性注意力机制，让长序列的训练和推理成本与 1K 序列长度的一致。 大语言模型序列长度的限...
AI：你总要高清视频，它来了
机器之心报道 机器之心编辑部以后，就算是跑着拍视频，FMA-Net也能给你处理得非常满意。 Magnific 图像超分 & 增强工具还正在火热体验中，它强大的图像升...
大模型无限流式输入推理飙升46%！国产开源加速「全家桶」，打破多轮对话长度限制
新智元报道编辑：好困 桃子 【新智元导读】大模型推理再次跃升一个新台阶！最近，全新开源的国产SwiftInfer方案，不仅能让LLM处理无限流式输入，而且还将推理...
多轮对话推理速度提升46%，开源方案打破LLM多轮对话的长度限制
机器之心发布 机器之心编辑部在大型语言模型（LLM）的世界中，处理多轮对话一直是一个挑战。前不久麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM，能够在...
400万token上下文、推理再加速46%！最新开源方案升级MIT成果，推理成本再降低
明敏 发自 凹非寺量子位 | 公众号 QbitAI22倍加速还不够，再来提升46%，而且方法直接开源！ 这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。 Streami...
Hyena成下一代Transformer？StripedHyena-7B开源：最高128k输入，训练速度提升50%
新智元报道编辑：LRS 【新智元导读】Hyena处理长序列输入比FlashAttention速度高100倍！最新发布的StripedHyena模型可能成下一代AI架构的新标准？最近几年发...
Mamba可以替代Transformer，但它们也能组合起来使用
机器之心报道 编辑：Panda W1+1＞2。Transformer 很厉害，但并不完美，尤其是在处理长序列方面。而状态空间模型（SSM）则在长序列上的表现相当不俗。早在去年...
谁能撼动Transformer统治地位？Mamba作者谈LLM未来架构
机器之心编译 机器之心编辑部自 2017 年被提出以来，Transformer 已成为 AI 大模型的主流架构，未来这种情况是一直持续，还是会有新的研究出现，我们不妨先听...
Softmax注意力与线性注意力的优雅融合，Agent Attention推动注意力新升级
机器之心专栏 作者：韩东辰来自清华大学的研究者提出了一种新的注意力范式——代理注意力 (Agent Attention)。近年来，视觉 Transformer 模型得到了极大的发展...
14秒就能重建视频，还能变换角色，Meta让视频合成提速44倍
机器之心报道 机器之心编辑部Meta的视频合成新框架又给了我们一点小小的震撼。就今天的人工智能发展水平来说，文生图、图生视频、图像/视频风格迁移都已经不...
人大高瓴提出“注意力波”方法，70 亿参数 Llama 比肩 GPT-4
夕小瑶科技说 原创作者 | 智商掉了一地、python最近，随着大型语言模型（LLM）在人机交互、多模态任务和语言应用等领域的广泛应用，研究者们纷纷致力于提升这...
粤公网安备 44011502001135号