将LLaMA2上下文扩展至100k，MIT、港中文有了LongLoRA方法

AIGC动态欢迎阅读

原标题：将LLaMA2上下文扩展至100k，MIT、港中文有了LongLoRA方法

关键字：上下文,模型,研究者,长度,长上

文章来源：机器之心

内容字数：6020字

内容摘要：机器之心报道机器之心编辑部无需过多计算资源即可扩展大模型上下文长度。一般来说，大模型预训练时文本长度是固定的，如果想要支持更长文本，就需要对模型进行微调。但是训练具有长上下文的 LLM 计算成本很高，需要大量的训练时间和 GPU 资源。比如，训练一个具有 8192 长度上下文的模型，相比于 2048 长度上下文，需要 16 倍的计算资源。就算如此，上下文长度对模型性能至关重要，因为它代表了 LLM…

原文链接：点此阅读原文：将LLaMA2上下文扩展至100k，MIT、港中文有了LongLoRA方法

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台