LLaMA2上下文长度暴涨至100万tokens，只需调整1个超参数｜复旦邱锡鹏团队出品

AIGC动态欢迎阅读

原标题：LLaMA2上下文长度暴涨至100万tokens，只需调整1个超参数｜复旦邱锡鹏团队出品

关键字：模型,长度,位置,底数,上下文

文章来源：量子位

内容字数：5019字

内容摘要：萧箫 发自 凹非寺量子位 | 公众号 QbitAI只需微调一下，大模型支持上下文大小就能从1.6万tokens延长至100万？！还是在只有70亿参数的LLaMA 2上。要知道，即使是当前最火的Claude 2和GPT-4，支持上下文长度也不过10万和3.2万，超出这个范围大模型就会开始胡言乱语、记不住东西。现在，一项来自复旦大学和上海人工智能实验室的新研究，不仅找到了让一系列大模型提升上下文窗口长…

原文链接：点此阅读原文：LLaMA2上下文长度暴涨至100万tokens，只需调整1个超参数｜复旦邱锡鹏团队出品

联系作者

文章来源：量子位

作者微信：QbitAI

作者简介：追踪人工智能新趋势，关注科技行业新突破