突破大型语言模型输入字符限制的方法有了！

AIGC动态欢迎阅读

原标题：突破大型语言模型输入字符限制的方法有了！

关键字：上下文,维度,模型,研究者,位置

文章来源：夕小瑶科技说

内容字数：8409字

内容摘要：夕小瑶科技说 分享来源 | 机器之心我们知道在使用 GPT 和 LLaMA 等大型语言模型时，输入的 prompt 存在字符数限制，比如 ChatGPT 目前的输入字符限制是 4096 个字符。这会限制上下文学习和思维链等技术的发挥空间，毕竟用户只能提供有限的示例数量。近日，Nous Research、EleutherAI 和日内瓦大学的一个研究团队提出了一种扩展上下文窗口的方案 YaRN ，并在…

原文链接：点此阅读原文：突破大型语言模型输入字符限制的方法有了！

联系作者

文章来源：夕小瑶科技说

作者微信：xixiaoyaoQAQ

作者简介：更快的AI前沿，更深的行业洞见。聚集25万AI应用开发者、算法工程师和研究人员。一线作者均来自清北、国外顶级AI实验室和互联网大厂，兼备媒体sense与技术深度。