标签：序列

机器之心报道 编辑：泽南、陈萍谷歌之后，Meta 也来卷无限长上下文。Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...

机器之心专栏 机器之心编辑部最近，来自澳大利亚蒙纳士大学、蚂蚁集团、IBM 研究院等机构的研究人员探索了模型重编程 (model reprogramming) 在大语言模型 (L...

大模型在今年的落地，除了对用 AI 对已有业务进行改造和提效外，算力和推理的优化，可能是另外一项重要的实践了。这在腾讯的两个完全不同的业务上有着明显的...

点击上方蓝字关注我们“本文介绍了一种名为'深度混合'的创新方法，旨在解决基于Transformer的语言模型在处理长序列或复杂任务时面临的计算资源分配问题。该方...

机器之心报道 编辑：PandaAniPortrait 模型是开源的，可以自由畅玩。「小破站鬼畜区的新质生产力工具。」 近日，腾讯开源发布的一个新项目在推上获得了如此评...

机器之心专栏 机器之心编辑部目前，Video Pose Transformer（VPT）在基于视频的三维人体姿态估计领域取得了最领先的性能。近年来，这些 VPT 的计算量变得越来...

来源：AI科技评论 作者：张进（ AI科技评论） 2017年谷歌发表的论文《Attention Is All You Need》成为当下人工智能的一篇圣经，此后席卷全球的人工智能热潮...

非 Transformer 面临的共同考验依然是证明自己的天花板有多高。作者丨张进 编辑丨陈彩娴 2017年谷歌发表的论文《Attention Is All You Need》成为当下人工智...

大数据文摘受权转载自将门创投 针对目前音乐生成3D舞蹈动作中存在的长序列生成动作质量差，生成效率低的问题，本文提出了Lodge，可以高效地根据输入音乐生成...

新智元报道编辑：LRS 【新智元导读】TimesFM针对时序数据设计，输出序列长于输入序列，在1000亿时间点数据进行预训练后，仅用200M参数量就展现出超强零样本学...

新智元报道编辑：LRS 【新智元导读】新模型bGPT是一个基于字节的Transformer模型，能够将不同类型的数据纳入同一框架之下，可以生成文本、图像和音频，还能模...

数字游民 投稿量子位 | 公众号 QbitAI最新GPT，不预测token了。 微软亚研院等发布bGPT，仍旧基于Transformer，但是模型预测的是下一个字节（byte）。 通过直...

新智元报道编辑：编辑部 【新智元导读】线性RNN赢了？近日，谷歌DeepMind一口气推出两大新架构，在d基准测试中超越了Transformer。新架构不仅保证了高效的训...

机器之心报道 机器之心编辑部去年 12 月，新架构 Mamba 引爆了 AI 圈，向屹立不倒的 Transformer 发起了挑战。如今，谷歌 DeepMind「Hawk 」和「Griffin 」的...