标签：注意力

新智元报道编辑：乔杨 好困 【新智元导读】Llama 3发布一个月后，一位开发者在GitHub上创建了名为「从头开始实现Llama 3」的项目，引起了开源社区的广泛关注...

西风 发自 凹非寺量子位 | 公众号 QbitAI让大神Andrej Karpathy一键三连❤️（点赞+转发+评论），一个教你从头开始实现Llama3的代码库爆火。 X上转赞收藏量超6....

机器之心报道 编辑：杜伟、陈萍项目中代码很多很全，值得细读。一个月前，Meta 发布了开源大模型 llama3 系列，在多个关键基准测试中优于业界 SOTA 模型，并...

选自Lil’Log 作者：Lilian Weng 机器之心编译 编辑：Panda过去几年来，扩散模型强大的图像合成能力已经得到充分证明。研究社区现在正在攻克一个更困难的任务...

机器之心报道 编辑：泽南、陈萍谷歌之后，Meta 也来卷无限长上下文。Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意...

4月18-19日，由智猩猩与智东西共同主办的2024中国生成式AI大会将在北京JW万豪酒店举行。大会完整议程出炉，55位嘉宾出席！免费票申请通道即将关闭，大会通票...

新智元报道编辑：alan 【新智元导读】近日，Picsart AI Resarch等团队联合发布了StreamingT2V，可以生成长达1200帧、时长为2分钟的视频，一举超越Sora。同时...

机器之心报道 编辑：小舟、陈萍不知 Gemini 1.5 Pro 是否用到了这项技术。 谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。 Infini-Trans...

点击上方蓝字关注我们“AI21 Labs推出Jamba，一种结合SSM与transformers的新AI模型，旨在提高处理长上下文的效率。Jamba在特定推理任务上超越传统模型，尽管在...

梦晨 发自 凹非寺量子位 | 公众号 QbitAITransformer作者中唯一去了OpenAI的那位，公开承认了： 他参与了Q*项目，是这项新技术的发明者之一。 这几天除了英伟...

作者｜Steven Levy 译者｜核子可乐 策划｜冬梅 导读： 3月21日，GTC AI大会，黄仁勋对话7位Transformer框架论文作者。他们认为，AI行业被困在了六七年前的原...

新智元报道编辑：编辑部 【新智元导读】Transformer奠基之作拯救了现在的AI。就在GTC大会上，老黄聚齐了其中的七位作者，开启了一场深度访谈。GTC大会上，老...

明敏 发自 凹非寺量子位 | 公众号 QbitAI全球首个开源的类Sora架构视频生成模型，来了！ 整个训练流程，包括数据处理、所有训练细节和模型权重，全部开放。 ...

机器之心报道 编辑：泽南不用敲代码，就可以快速探索模型结构。最近时常被吐槽不够开源的 OpenAI，突然开放了一次。 今天一早，OpenAI 机器学习研究员 Jan Le...

大数据文摘受权转载自将门创投 现阶段，上下文窗口长度基本上成为了评估LLM能力的硬性指标，上下文的长度越长，代表大模型能够接受的用户要求越复杂，近期Ope...