标签：上下文理解

DuoAttention是新型的框架，由MIT韩松团队提出，用在提高大型语言模型（LLMs）在处理长上下文时的推理效率。基于区分“检索头”和“流式头”两种注意力头，优化模...

Ditto是基于Flask的应用程序生成器，用户基于简单的自然语言描述创建多文件的Web应用程序。工具用一个简单的LLM循环和一些辅助工具自动化编码过程，将用户的...

Hunyuan-Large是腾讯推出的大型混合专家（MoE）模型，具有3890亿总参数量和520亿激活参数量，是目前业界参数规模最大的开源MoE模型。基于Transformer架构，支...