标签：序列
击败OpenAI，权重、数据、代码全开源，能完美复现的嵌入模型Nomic Embed来了
机器之心报道 编辑：陈萍、小舟模型参数量只有 137M，5 天就能训练好。一周前，OpenAI 给广大用户发放福利，在下场修复 GPT-4 变懒的问题后，还顺道上新了 5 ...
准确率不足20%，GPT-4V/Gemini竟看不懂漫画！首个图像序列基准测试开源
新智元报道编辑：LRS 【新智元导读】马里兰大学联合北卡教堂山发布首个专为多模态大语言模型（MLLM）设计的图像序列的基准测试Mementos，涵盖了真实世界图像...
Mamba论文为什么没被ICLR接收？AI社区沸腾了
机器之心报道 编辑：张倩、蛋酱基于 Mamba 的创新正不断涌现，但原论文却被 ICLR 放到了「待定区」。 2023 年，Transformer 在 AI 大模型领域的统治地位被撼...
消灭「幻觉」！谷歌全新ASPIRE方法让LLM给自己打分，效果碾压10x体量模型
新智元报道编辑：润 【新智元导读】谷歌和威斯康星麦迪逊大学的研究人员推出了一个让LLM给自己输出打分的选择性预测系统，通过软提示微调和自评估学习，取得...
视觉Mamba来了：速度提升2.8倍，内存能省87%
机器之心报道 编辑：陈萍、泽南Vision Mamba 不是个普通模型。号称「全面包围 Transformer」的 Mamba，推出不到两个月就有了高性能的视觉版。 本周四，来自华...
新一代注意力机制Lightning Attention-2：无限序列长度、恒定算力开销、更高建模精度
机器之心专栏 机器之心编辑部Lightning Attention-2 是一种新型的线性注意力机制，让长序列的训练和推理成本与 1K 序列长度的一致。 大语言模型序列长度的限...
今日Arxiv最热NLP大模型论文：清华大学让大语言模型自动并行自回归解码，速度提升高达4倍！
夕小瑶科技说 原创作者 | 赛博马良 本文内容由 赛博马良「AI论文解读达人」 智能体生成，人工整理排版。 「AI论文解读达人」 可提供最热AI论文推荐、论文解读...
性能大涨20%！中科大「状态序列频域预测」方法：表征学习样本效率max｜NeurIPS 2023 Spotlight
新智元报道编辑：LRS 好困 【新智元导读】SPF算法是一种基于状态序列频域预测的表征学习方法，利用状态序列的频域分布来显式提取状态序列数据中的趋势性和规...
多 Transformer 集合可挑战 GPT-4，推理能力是单一Transformer 的 18 倍
ICLR 匿名研究：单一 Transformer 不具备图灵完备性，但多 Transformer 可以。作者丨郭思、赖文昕 编辑丨陈彩娴 Transformer 自 2017 年出世以来就在 AI 领域...
AI测出你几岁死亡？Transformer「算命」登Nature子刊，成功预测意外死亡
新智元报道编辑：润 【新智元导读】AI算命将可以预测人类的意外死亡？丹麦科学家用全国600万人的公开数据训练了一个基于Transformer的模型，成功预测了意外死...
千元成本搞定专业大模型，系统优化+开源大模型是关键 | 潞晨卞正达@MEET2024
编辑部 整理自 MEET2024量子位 | 公众号 QbitAI大模型元年里，哪怕是跑在趋势最前沿的基座模型厂商，都难逃算力焦虑。 一方面，大模型本身由于技术特性，算力...
Hyena成下一代Transformer？StripedHyena-7B开源：最高128k输入，训练速度提升50%
新智元报道编辑：LRS 【新智元导读】Hyena处理长序列输入比FlashAttention速度高100倍！最新发布的StripedHyena模型可能成下一代AI架构的新标准？最近几年发...
Mamba可以替代Transformer，但它们也能组合起来使用
机器之心报道 编辑：Panda W1+1＞2。Transformer 很厉害，但并不完美，尤其是在处理长序列方面。而状态空间模型（SSM）则在长序列上的表现相当不俗。早在去年...
全球最强「开源版Gemini」诞生！全能多模态模型Emu2登热榜，多项任务刷新SOTA
新智元报道编辑：桃子 好困 【新智元导读】最强的全能多模态模型来了！就在近日，智源研究院重磅发布了开源界的「Gemini」——Emu2，一口气刷新多项SOTA。过去...
挑战Transformer的Mamba是什么来头？作者博士论文理清SSM进化路径
机器之心报道 编辑：张倩对 SSM 感兴趣的研究者不妨读一下这篇博士论文。 在大模型领域，Transformer 凭一己之力撑起了整个江山。但随着模型规模的扩展和需要...
粤公网安备 44011502001135号