贾佳亚韩松团队新作：两行代码让大模型上下文窗口倍增 | GitHub热榜

AIGC动态欢迎阅读

原标题：贾佳亚韩松团队新作：两行代码让大模型上下文窗口倍增 | GitHub热榜

关键字：模型,注意力,长度,数据,窗口

文章来源：量子位

内容字数：4214字

内容摘要：克雷西 发自 凹非寺量子位 | 公众号 QbitAI只要两行代码+11个小时微调，就能把大模型4k的窗口长度提高到32k。规模上，最长可以扩展到10万token，一口气就能读完长篇小说的多个章节或中短篇小说。贾佳亚韩松联合团队提出的这个基于LoRA的全新大模型微调方法，登上了GitHub热榜。这种方式叫做LongLoRA，由来自香港中文大学和MIT的全华人团队联合出品。在一台8个A100组成的单机…

原文链接：点此阅读原文：贾佳亚韩松团队新作：两行代码让大模型上下文窗口倍增 | GitHub热榜

联系作者

文章来源：量子位

作者微信：QbitAI

作者简介：追踪人工智能新趋势，关注科技行业新突破