标签：注意力

夕小瑶科技说 原创作者 | 任同学 视频虚拟试穿技术日益受到关注，然而现有的工作局限于将服装图像转移到姿势和背景简单的视频上，对于随意拍摄的视频则效果不...

机器之心报道 来源：机器学习算法与Python学习自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。 但随着模型规...

机器之心报道 机器之心编辑部自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。 但随着模型规模的扩展和需要处...

梦晨 发自 凹非寺量子位 | 公众号 QbitAITransformer挑战者、新架构Mamba，刚刚更新了第二代： Mamba-2，状态空间扩大8倍，训练速度提高50%！ 更重要的是，团...

新智元报道编辑：编辑部 【新智元导读】在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transform...

彩云科技团队 投稿量子位 | 公众号 QbitAI改进Transformer核心机制注意力，让小模型能打两倍大的模型！ ICML 2024高分论文，彩云科技团队构建DCFormer框架，...

梦晨 西风 发自 凹非寺量子位 | 公众号 QbitAIControlNet作者新项目，居然也搞起大模型和Agent了。 当然还是和AI绘画相关：解决大伙不会写提示词的痛点。 现...

机器之心报道 编辑：泽南、杜伟用卷积能做出一样好的效果。在 Transformer 大一统的时代，计算机视觉的 CNN 方向还有研究的必要吗？ 今年年初，OpenAI 视频大...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...

来源：机器之心 机器之心编辑部既能像 Transformer 一样并行训练，推理时内存需求又不随 token 数线性递增，长上下文又有新思路了？序列建模的进展具有极大的...

机器之心报道 机器之心编辑部既能像 Transformer 一样并行训练，推理时内存需求又不随 token 数线性递增，长上下文又有新思路了？序列建模的进展具有极大的影...

夕小瑶科技说 原创作者 夕小瑶编辑部前段时间，KAN突然爆火，成为可以替代MLP的一种全新神经网络架构，200个参数顶30万参数；而且，GPT-4o的生成速度也是惊艳...

新智元报道编辑：乔杨 好困 【新智元导读】Llama 3发布一个月后，一位开发者在GitHub上创建了名为「从头开始实现Llama 3」的项目，引起了开源社区的广泛关注...

西风 发自 凹非寺量子位 | 公众号 QbitAI让大神Andrej Karpathy一键三连❤️（点赞+转发+评论），一个教你从头开始实现Llama3的代码库爆火。 X上转赞收藏量超6....

机器之心报道 编辑：杜伟、陈萍项目中代码很多很全，值得细读。一个月前，Meta 发布了开源大模型 llama3 系列，在多个关键基准测试中优于业界 SOTA 模型，并...