标签:状态
Mamba可以替代Transformer,但它们也能组合起来使用
机器之心报道 编辑:Panda W1+1>2。Transformer 很厉害,但并不完美,尤其是在处理长序列方面。而状态空间模型(SSM)则在长序列上的表现相当不俗。早在去年...
一个框架整合大脑理论 8 具身智能的未来 有生计算
来源:CreateAMind 摘要(3万字长文) 这篇综述激发并综合了神经科学启发的人工智能和仿生计算在人类计算方面的研究成果。具体来说,我们从感知行为的理论...
谁能撼动Transformer统治地位?Mamba作者谈LLM未来架构
机器之心编译 机器之心编辑部自 2017 年被提出以来,Transformer 已成为 AI 大模型的主流架构,未来这种情况是一直持续,还是会有新的研究出现,我们不妨先听...
挑战Transformer的Mamba是什么来头?作者博士论文理清SSM进化路径
机器之心报道 编辑:张倩对 SSM 感兴趣的研究者不妨读一下这篇博士论文。 在大模型领域,Transformer 凭一己之力撑起了整个江山。但随着模型规模的扩展和需要...
逝者如斯夫,不舍昼夜,你,真的懂时间吗?
来源:中科院物理所作者:Areeba Merriam翻译:小聪审校:利有攸往原文链接:The True Nature of Time时间是自然界的一大谜团,人们...
Transformer挑战者出现!斯坦福CMU联合团队,开源模型及代码,公司已创办
梦晨 发自 凹非寺量子位 | 公众号 QbitAI现在ChatGPT等大模型一大痛点:处理长文本算力消耗巨大,背后原因是Transformer架构中注意力机制的二次复杂度。Flash...
OpenAI神秘Q*项目解密!诞生30+年「Q学习」算法引全球网友终极猜想
新智元报道编辑:桃子【新智元导读】OpenAI神秘Q*项目刚被曝出一天,就已经引发了各种猜想。一时间,「Q-learning」成为许多人的关注焦点。刚刚过去的一天,O...
图灵和冯·诺依曼的遗产:生命计算机的架构
来源:返朴撰文:Hashim M. Al-Hashimi翻译:汪显意审校:小木球编辑:梁金在通用图灵机的基础上,数学家冯·诺依曼进一步发明了自复制机器,回答了生物学中最...
一个小妙招从Prompt菜鸟秒变专家!加州大学提出PromptAgent,帮你高效使用ChatGPT!
夕小瑶科技说 原创作者 | 谢年年、王二狗有了ChatGPT、GPT4之后,我们的工作学习效率得到大大提升(特别在凑字数方面୧(๑•̀◡•́๑)૭)。作为一个工具,有人觉得...
超越强化学习:生命启发的AI
来源:CreateAMind受生命启发的内感受性人工智能 (万字长文)摘要构建自主的(即基于个人需求选择目标)和自适应的(即在不断变化的环境中生存)智能 体一直...
逃离「内耗」的年轻人,跑进了 lululemon
追求快乐也接纳脆弱和恐惧你在20-30岁对自己有疼痛感,这是特别正常的。简里里在今年的 lululemon 「一起好状态」主题活动分享上说道。她认为,这个时期其实...
TradeMaster最新发布沙盒工具箱,探索量化交易的全新维度
TradeMaster 是由新加坡南洋理工大学开发的一款基于强化学习的开源量化交易平台。为了更全面地评价和提升算法性能,我们推出了沙盒工具箱,同时搭配了易于使...
功能超全的AI Agents开源库来了,能写小说,还能当导购、销售
机器之心专栏机器之心编辑部来自波形智能、苏黎世联邦理工和浙江大学的算法团队和研究者发布了名为 Agents 的开源框架。近一年来,随着大模型突飞猛进的发展...
LLaMA微调显存需求减半,清华提出4比特优化器
机器之心专栏作者:李炳睿大模型的训练和微调对显存要求很高,优化器状态是显存主要开销之一。近日,清华大学朱军、陈键飞团队提出了用于神经网络训练的 4 比...