标签:长上

Meta再放「长文本」杀器Llama 2-Long:70B尺寸登顶最强「32k上下文」模型,超越ChatGPT

新智元报道编辑:LRS【新智元导读】Llama 2-Long计算量需求比重新训练降低40%,还不影响短任务性能!虽然大型语言模型在处理日常问答、总结文本等任务上表现...
阅读原文

将LLaMA2上下文扩展至100k,MIT、港中文有了LongLoRA方法

机器之心报道机器之心编辑部无需过多计算资源即可扩展大模型上下文长度。一般来说,大模型预训练时文本长度是固定的,如果想要支持更长文本,就需要对模型进...
阅读原文
123