标签:序列

LLM用于时序预测真的不行,连推理能力都没用到

机器之心报道 编辑:panda语言模型真的能用于时序预测吗?根据贝特里奇头条定律(任何以问号结尾的新闻标题,都能够用「不」来回答),答案应该是否定的。事...
阅读原文

拆分Transformer注意力,韩国团队让大模型解码提速20倍

克雷西 发自 凹非寺量子位 | 公众号 QbitAI只要将注意力切块,就能让大模型解码提速20倍。 来自韩国科学技术研究院、LG和DeepMind的研究人员,提出了一种新的...
阅读原文

模拟5亿年的进化信息,首个同时推理蛋白质序列、结构和功能的生物学大模型

来源:ScienceAI 编辑:萝卜皮 在三十亿年的自然进化历程中,现存蛋白质的形态得以形成,经历了漫长的自然筛选过程。进化如同在地质时间尺度上进行的平行实验...
阅读原文

模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞

新智元报道编辑:乔杨 好困 【新智元导读】能抗衡AlphaFold 3的生命科学大模型终于出现了。初创公司Evolutionary Scale AI发布了他们最新的98B参数蛋白质语言...
阅读原文

小米大模型提效新框架:训练最高提速34%,推理最高提速52%!Kaldi之父合作出品

直播预告 | 6月25日晚7点,「智猩猩机器人新青年讲座」第9讲正式开讲,UMass Amherst在读博士周沁泓将直播讲解《在具身智能模拟器中针对动态灾害进行具身决策...
阅读原文

AI研究的主要推动力会是什么?ChatGPT团队研究科学家:算力成本下降

机器之心报道 编辑:PandaAI 研究发展的主要推动力是什么?在最近的一次演讲中,OpenAI 研究科学家 Hyung Won Chung 给出了自己的答案。 近日,斯坦福大学《C...
阅读原文

谷歌开源TimesFM:1000亿个时间点训练,入选ICML 2024

新智元报道编辑:乔杨 【新智元导读】在大语言模型突飞猛进的同时,谷歌的研究团队在时序预测方面也取得了突破性的成果——今年2月发表的模型TimesFM,而且放出...
阅读原文

原作者带队,LSTM卷土重来之Vision-LSTM出世

机器之心报道 编辑:鸭梨、蛋酱与 DeiT 等使用 ViT 和 Vision-Mamba (Vim) 方法的模型相比,ViL 的性能更胜一筹。 AI 领域的研究者应该还记得,在 Transforme...
阅读原文

Mamba-2新架构出世一统江湖!普林斯顿CMU华人再出神作,性能狂飙8倍

新智元报道编辑:编辑部 【新智元导读】在开源社区引起「海啸」的Mamba架构,再次卷土重来!这次,Mamba-2顺利拿下ICML。通过统一SSM和注意力机制,Transform...
阅读原文

AlphaFold 3不开源,统一生物语言大模型阿里云先开了!

西风 发自 凹非寺量子位 | 公众号 QbitAI把169861个生物物种数据装进大模型,大模型竟get到了生物中心法则的奥秘—— 不仅能识别DNA、RNA与相应蛋白质之间的内...
阅读原文

图灵奖得主Bengio等人新作:注意力可被视为RNN,新模型媲美Transformer,但超级省内存

来源:机器之心 机器之心编辑部既能像 Transformer 一样并行训练,推理时内存需求又不随 token 数线性递增,长上下文又有新思路了?序列建模的进展具有极大的...
阅读原文

Transformer大杀器进入蛋白质组学,一文梳理LLM如何助力生命科学领域大变革

新智元报道编辑:庸庸 乔杨 【新智元导读】科学家们把Transformer模型应用到蛋白质序列数据中,试图在蛋白质组学领域复制LLM的成功。本篇文章能够带你了解蛋...
阅读原文

Bengio等人新作:注意力可被视为RNN,新模型媲美Transformer,但超级省内存

机器之心报道 机器之心编辑部既能像 Transformer 一样并行训练,推理时内存需求又不随 token 数线性递增,长上下文又有新思路了?序列建模的进展具有极大的影...
阅读原文

单模型斩获「蛋白质突变预测」榜一!西湖大学提出基于结构词表方法 | ICLR 2024 Spotlight

新智元报道编辑:LRS 【新智元导读】Saprot在proteingym蛋白质突变预测任务公开基准榜(由牛津大学计算机与哈佛医学院设立)排名第一。相比,其他排名靠前的...
阅读原文

GPT模型的前世今生

大数据文摘授权转载自数据派THU 作者:李媛媛 1 GPT模型概述 GPT模型,全称Generative Pre-trained Transformer,由OpenAI团队开发,是一种基于深度学习的自...
阅读原文
12345611