标签：注意力

选自Lil’Log 作者：Lilian Weng 机器之心编译 编辑：Panda过去几年来，扩散模型强大的图像合成能力已经得到充分证明。研究社区现在正在攻克一个更困难的任务...

机器之心报道 编辑：泽南、陈萍谷歌之后，Meta 也来卷无限长上下文。Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意...

4月18-19日，由智猩猩与智东西共同主办的2024中国生成式AI大会将在北京JW万豪酒店举行。大会完整议程出炉，55位嘉宾出席！免费票申请通道即将关闭，大会通票...

新智元报道编辑：alan 【新智元导读】近日，Picsart AI Resarch等团队联合发布了StreamingT2V，可以生成长达1200帧、时长为2分钟的视频，一举超越Sora。同时...

机器之心报道 编辑：小舟、陈萍不知 Gemini 1.5 Pro 是否用到了这项技术。 谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。 Infini-Trans...

点击上方蓝字关注我们“AI21 Labs推出Jamba，一种结合SSM与transformers的新AI模型，旨在提高处理长上下文的效率。Jamba在特定推理任务上超越传统模型，尽管在...

梦晨 发自 凹非寺量子位 | 公众号 QbitAITransformer作者中唯一去了OpenAI的那位，公开承认了： 他参与了Q*项目，是这项新技术的发明者之一。 这几天除了英伟...

作者｜Steven Levy 译者｜核子可乐 策划｜冬梅 导读： 3月21日，GTC AI大会，黄仁勋对话7位Transformer框架论文作者。他们认为，AI行业被困在了六七年前的原...

新智元报道编辑：编辑部 【新智元导读】Transformer奠基之作拯救了现在的AI。就在GTC大会上，老黄聚齐了其中的七位作者，开启了一场深度访谈。GTC大会上，老...

明敏 发自 凹非寺量子位 | 公众号 QbitAI全球首个开源的类Sora架构视频生成模型，来了！ 整个训练流程，包括数据处理、所有训练细节和模型权重，全部开放。 ...

机器之心报道 编辑：泽南不用敲代码，就可以快速探索模型结构。最近时常被吐槽不够开源的 OpenAI，突然开放了一次。 今天一早，OpenAI 机器学习研究员 Jan Le...

大数据文摘受权转载自将门创投 现阶段，上下文窗口长度基本上成为了评估LLM能力的硬性指标，上下文的长度越长，代表大模型能够接受的用户要求越复杂，近期Ope...

选自interconnects 作者：Nathan Lambert 机器之心编译 机器之心编辑部状态空间模型正在兴起，注意力是否已到尽头？最近几周，AI 社区有一个热门话题：用无注...

克雷西 发自 凹非寺量子位 | 公众号 QbitAI传说中GPT-4的“致胜法宝”——MoE（混合专家）架构，自己也能手搓了！ Hugging Face上有一位机器学习大神，分享了如何...

机器之心报道 编辑：杜伟、小舟去年，在加速大语言模型推理层面，我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今，...