标签：上下文

作者：李宝珠 & 十九 编辑：三羊 谷歌的对手可能并非 OpenAI，而是 OpenAI 背后的微软。3 月中旬，谷歌宣布 Google I/O 定档北京时间 5 月 15 日凌晨 1 ...

夕小瑶科技说 原创作者 | 谢年年LLMs已经进入了长序列时代。众多的LLMs已经发布支持从32K到2M tokens的长序列窗口。 不过，面对如此庞大的输入，我们不禁要问...

夕小瑶科技说 原创作者 | Axe_越当我还是一位懵懂少年的时候，总认为“任务难度”，“参数规模”和“准确率”是一个不可兼顾的三角，比如当我想要挑战更难的任务，...

梦晨 发自 凹非寺量子位 | 公众号 QbitAI堂堂开源之王Llama 3，原版上下文窗口居然只有……8k，让到嘴边的一句“真香”又咽回去了。‍ 在32k起步，100k寻常的今天...

新智元报道编辑：LRS 【新智元导读】LongRoPE方法首次将LLM的窗口扩展到了2048k个token，只是简单微调的情况下，就能实现与短上下文窗口相近的性能！大型语言...

夕小瑶科技说 原创作者 | 任同学检索头的发现或许将有力地帮助大模型领域在提高长上下文推理能力、减少幻觉和压缩KV缓存方面的研究。 从 Claude100K 到 Gemin...

作者 | KEN KANTZER 译者 | 平川 策划 | 褚杏娟 本文最初发布于 KEN KANTZER 的个人博客。 在过去的六个月里，我的创业公司 Truss（gettruss.io）发布了多项...

机器之心报道 机器之心编辑部ChatGPT 正确的使用姿势。 自 ChatGPT 问世以来，OpenAI 一直被认为是全球生成式大模型的领导者。2023 年 3 月，OpenAI 官方宣布...

大数据文摘受权转载自微软亚洲研究院 编者按：大模型的飞速发展给人们的生活带来了前所未有的便利。我们是否能够设想利用大模型的潜力，快速扫描整部百科全书...

机器之心报道 编辑：泽南、陈萍谷歌之后，Meta 也来卷无限长上下文。Transformers 的二次复杂度和弱长度外推限制了它们扩展到长序列的能力，虽然存在线性注意...

新智元报道编辑：桃子 好困 【新智元导读】Transformer王座即将被取而代之！Meta、USC、CMU和UCSD联合提出了革命性新架构Megalodon，能够处理无限上下文，在2...

4月18-19日，由智猩猩与智东西共同主办的2024中国生成式AI大会将在北京JW万豪酒店举行。大会完整议程出炉，55位嘉宾出席！免费票申请通道即将关闭，大会通票...

机器之心报道 编辑：小舟、陈萍不知 Gemini 1.5 Pro 是否用到了这项技术。 谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。 Infini-Trans...

新智元报道编辑：编辑部 【新智元导读】初创团队Mistral AI再次放出一条磁力链，281GB文件解禁了最新的8x22B MoE模型。一条磁力链，Mistral AI又来闷声不响搞...

机器之心报道 机器之心编辑部这次，谷歌要凭「量」打败其他竞争对手。 当地时间本周二，谷歌在 Google’s Cloud Next 2024 上发布了一系列 AI 相关的模型更新...