标签:卷积

Hyena成下一代Transformer?StripedHyena-7B开源:最高128k输入,训练速度提升50%

新智元报道编辑:LRS 【新智元导读】Hyena处理长序列输入比FlashAttention速度高100倍!最新发布的StripedHyena模型可能成下一代AI架构的新标准?最近几年发...
阅读原文

「花果山名场面」有了高清画质版,NTU提出视频超分框架Upscale-A-Video

机器之心报道 机器之心编辑部扩散模型在图像生成方面取得了显著的成功,但由于对输出保真度和时间一致性的高要求,将这些模型应用于视频超分辨率仍然具有挑战...
阅读原文

大模型被偷家!腾讯港中文新研究修正认知:CNN搞多模态不弱于Transfromer

腾讯&港中文团队 投稿量子位 | 公众号 QbitAI在Transformer占据多模态工具半壁江山的时代,大核CNN又“杀了回来”,成为了一匹新的黑马。 腾讯AI实验室与港...
阅读原文

计算需求降为1%! 清华大学首次提出「二值化光谱重建算法」,代码全开源|NeurIPS 2023

新智元报道编辑:LRS【新智元导读】相比全精度CNN,清华大学提出的二值化光谱重分布网络BiSRNet只需0.06%的存储空间和1%的计算代价,性能几乎持平。相比于常...
阅读原文

颠覆Transformer霸权!CMU普林斯顿推Mamba新架构,解决致命bug推理速度暴增5倍

新智元报道编辑:编辑部【新智元导读】诞生6周年的Transformer,霸主之位终于要被颠覆了?CMU、普林斯顿研究者发布的Mamba,解决了Transformer核心注意力层无...
阅读原文

手机上0.2秒出图、当前速度之最,谷歌打造超快扩散模型MobileDiffusion

机器之心专栏机器之心编辑部在手机等移动端侧运行 Stable Diffusion 等文生图生成式 AI 大模型已经成为业界追逐的热点之一,其中生成速度是主要的制约因素。...
阅读原文

首个全面开源的千亿模型来了!源2.0全家桶击破算力限制,代码数学强到发指

新智元报道编辑:编辑部【新智元导读】昨天,浪潮信息发布源2.0基础大模型,并一口气开源了1026亿、518亿、21亿三个大模型!而在编程、推理、逻辑这些老大难...
阅读原文

比Transformer更好,无Attention、MLPs的BERT、GPT反而更强了

机器之心报道编辑:杜伟、泽南本文探索了 Monarch Mixer (M2) ,这是一种在序列长度和模型维度上都是次二次的新架构,并且在现代加速器上具有很高的硬件效率...
阅读原文

卷积网络又行了?DeepMind推翻Transformer最强传说,LeCun怒赞

新智元报道编辑:编辑部【新智元导读】DeepMind最新研究发现,只要模型设计上没有缺陷,决定模型性能的核心可能是训练计算量和数据。在相同计算量下,卷积神...
阅读原文

LeCun和xAI联创对呛,GPT-4重大推理缺陷无解?网友:人类也是「随机鹦鹉」

新智元报道编辑:润【新智元导读】LeCun和学界的其他研究人员再次炮轰LLM的推理能力,然后激起了众多网友讨论。作为xAI联创Christian Szegedy博士不经意透露...
阅读原文

轻量级持续学习: 0.6%额外参数把旧模型重编程到新任务

机器之心专栏机器之心编辑部持续学习的目的是模仿人类在连续任务中持续积累知识的能力,其主要挑战是在持续学习新任务后如何保持对以前所学任务的表现,即避...
阅读原文

AI 模拟《漫长的季节》角色唱歌

大数据文摘受权转载自陈东泽最近,自研了一个 AI 模型叫 TalkSVS,能根据人们说话的声音,去模拟其唱歌。举个例子,电视剧《漫长的季节》,台词白话。这个模...
阅读原文

七次 CV 夺冠背后:颜水成与他的学生们

一波深度学习浪潮、七次世界冠军、两次转场与追随......作者 | 李梅 郭思编辑| 岑峰他们不仅乘上了 AI 的浪潮,更创造了浪潮本身。1冠军团队的诞生2007 年,...
阅读原文
123