标签:序列

字节跳动李航 | 对大语言模型的若干思考…

来源:机器之心专栏 作者:ByteDance Research负责人李航本文阐述笔者对 LLM 的一些看法,主要观点如下: ChatGPT 的突破主要在于规模带来的质变和模型调教方...
阅读原文

分类性能提高 10%,港中大团队利用大型蛋白质语言模型发现未知的信号肽

将 ScienceAI设为星标第一时间掌握新鲜的 AI for Science 资讯编辑 | 萝卜皮信号肽 (SP) 对于跨膜和分泌蛋白靶向并将其转移到正确位置至关重要。许多现有的预...
阅读原文

​丢掉注意力的扩散模型:Mamba带火的SSM被苹果、康奈尔盯上了

机器之心报道机器之心编辑部替代注意力机制,SSM 真的大有可为?为了用更少的算力让扩散模型生成高分辨率图像,注意力机制可以不要,这是康奈尔大学和苹果的...
阅读原文

五倍吞吐量,性能全面包围Transformer:新架构Mamba引爆AI圈

机器之心报道编辑:张倩、蛋酱屹立不倒的 Transformer 迎来了一个强劲竞争者。在别的领域,如果你想形容一个东西非常重要,你可能将其形容为「撑起了某领域的...
阅读原文

Transformer挑战者出现!斯坦福CMU联合团队,开源模型及代码,公司已创办

梦晨 发自 凹非寺量子位 | 公众号 QbitAI现在ChatGPT等大模型一大痛点:处理长文本算力消耗巨大,背后原因是Transformer架构中注意力机制的二次复杂度。Flash...
阅读原文

颠覆Transformer霸权!CMU普林斯顿推Mamba新架构,解决致命bug推理速度暴增5倍

新智元报道编辑:编辑部【新智元导读】诞生6周年的Transformer,霸主之位终于要被颠覆了?CMU、普林斯顿研究者发布的Mamba,解决了Transformer核心注意力层无...
阅读原文

将合成生物学与AI相结合,以无细胞方式寻找新抗生素

将 ScienceAI设为星标第一时间掌握新鲜的 AI for Science 资讯编辑 | 萝卜皮生物活性肽是健康和医学的关键分子。深度学习为生物活性肽的发现和设计带来了巨大...
阅读原文

通用视觉推理显现,UC伯克利炼出单一纯CV大模型,三位资深学者参与

机器之心报道机器之心编辑部仅靠视觉(像素)模型能走多远?UC 伯克利、约翰霍普金斯大学的新论文探讨了这一问题,并展示了大型视觉模型(LVM)在多种 CV 任...
阅读原文

计算机视觉GPT时刻!UC伯克利三巨头祭出首个纯CV大模型,推理惊现AGI火花

新智元报道编辑:编辑部【新智元导读】UC伯克利的CV三巨头推出首个无自然语言的纯视觉大模型,第一次证明纯CV模型也是可扩展的。更令人震惊的是,LVM竟然也能...
阅读原文

Transformer变革3D建模,MeshGPT生成效果惊动专业建模师,网友:革命性idea

机器之心报道机器之心编辑部连续「预测下一个 token」能生成句子,同理,连续「预测下一个三角形网格」也能生成 3D 模型。在计算机图形学中,「三角形网格」...
阅读原文

拉妮·米歇尔Science刊文:AI能否自主学习世界模型?

导语现代认知科学认为,人类会在头脑中构建关于周围真实世界的抽象模型——世界模型(world model)。获取“世界模型”的问题一直是人工智能研究的焦点。OpenAI ...
阅读原文

30 位学者合力发表 Nature 综述,10 年回顾解构 AI 如何重塑科研范式

By 超神经科学发现是一个复杂过程,涉及到几个相互关联的阶段,包括形成假设、实验设计、数据收集及分析。近年来,AI 与基础科研的融合日益加深,借助 AI,科...
阅读原文

大幅提升用户行为表征通用性,蚂蚁新模型获CIKM 2023最佳应用论文奖

机器之心专栏作者:蚂蚁机器智能部由美国计算机学会 ACM 主办的 CIKM 2023 学术会议在英国伯明翰举行,大会吸引了 8000+ 学术从业者参加,并从 235 篇应用研...
阅读原文

重新审视Transformer:倒置更有效,真实世界预测的新SOTA出现了

机器之心报道编辑:大盘鸡反转 Transformer,变成 iTransformer。Transformer 在时间序列预测中出现了强大能力,可以描述成对依赖关系和提取序列中的多层次表...
阅读原文

单点端到端文本检测识别框架速度提升19倍!华科、华南理工等联合发布SPTS v2

新智元报道编辑:LRS 好困【新智元导读】单点文本框标注,成本显著降低;将检测和识别解耦,并行解码提升自回归速度。近年来,场景文本阅读(Text Spotting)...
阅读原文
17891011