「Meta版ChatGPT」背后的技术：想让基础LLM更好地处理长上下文，只需持续预训练

AIGC动态欢迎阅读

原标题：「Meta版ChatGPT」背后的技术：想让基础LLM更好地处理长上下文，只需持续预训练

关键字：模型,上下文,长上,任务,下文

文章来源：机器之心

内容字数：10932字

内容摘要：机器之心报道编辑：Panda W在处理长上下文方面，LLaMA 一直力有不足，而通过持续预训练和其它一些方法改进，Meta 的这项研究成功让 LLM 具备了有效理解上下文的能力。大型语言模型（LLM）所使用的数据量和计算量都是前所未见的，这也使其有望从根本上改变我们与数字世界的交互方式。随着 LLM 被不断快速部署到生产环境中并不断扩展进化，可以预见这些模型将能在更多复杂精细的用例中提供服务，比如…

原文链接：点此阅读原文：「Meta版ChatGPT」背后的技术：想让基础LLM更好地处理长上下文，只需持续预训练

联系作者

文章来源：机器之心

作者微信：almosthuman2014

作者简介：专业的人工智能媒体和产业服务平台