dots.llm1

dots.llm1 – 小红书hi lab开源的文本大模型

dots.llm1 是小红书 hi lab 团队倾力打造的中等规模 Mixture of Experts (MoE) 文本大模型，拥有 1420 亿参数，激活参数为 140 亿。它在 11.2T 高质量 token 数据上进行预训练，并采用了高效的 Interleaved 1F1B 流水并行和 Grouped GEMM 优化技术，在多语言文本生成、复杂指令遵循、知识问答、数学与代码推理、多轮对话等任务上表现出色，与 Qwen2.5-72B 等模型相比具有竞争力。

dots.llm1：开启智能文本新篇章

dots.llm1，由小红书 hi lab 团队精心研发，是一款中等规模的 Mixture of Experts (MoE) 文本大模型。它不仅拥有庞大的参数规模（1420 亿），更凭借创新的架构设计和卓越的训练技术，在各项文本任务中展现出强大的能力。dots.llm1 致力于为用户提供更智能、更便捷的文本处理体验。

核心功能一览

• 多语言文本生成： 支持流畅的中英文文本创作，满足多样化的内容需求，例如撰写文章、生成创意文案等。
• 复杂指令理解： 能够准确理解并执行复杂的指令，完成各种特定任务，包括数据处理、代码生成等。
• 知识问答服务： 提供精准的知识问答，帮助用户快速获取所需信息，拓展知识边界。
• 数学与代码推理： 具备强大的数学计算和代码推理能力，能够解决复杂的数学问题并编写简单的代码。
• 多轮对话互动： 支持多轮对话，与用户进行自然流畅的交流，理解上下文，给出恰当的回应。

技术亮点

• MoE 架构： 采用基于 Decoder-only Transformer 的 MoE 架构，每个 token 最多激活 6 个专家，共有 128 个专家。这种设计使得模型在 1420 亿参数中，每次前向传播只激活 140 亿参数，有效提高了计算效率。
• 高效训练框架： 依托 11.2T 高质量 token 数据进行预训练，数据来源包括 Common Crawl 和自有 Spider 抓取的 web 数据，经过多轮清洗和过滤，确保数据质量。结合 Interleaved 1F1B 流水并行的 AlltoAll overlap 和高效 Grouped GEMM 实现，显著提升训练效率。
• 精细微调： 采用两阶段监督微调策略。首先对全量数据进行基础训练，释放模型潜力；然后针对特定领域（如数学与代码）引入拒绝采样微调，进一步提升模型推理性能。
• 学习率与超参优化： 采用 WSD 学习率调度方式，在学习率稳定阶段进行训练，并在退火阶段逐步降低学习率。同时，在训练过程中调整 batch size 等超参数，确保训练过程稳定。

产品官网

您可以访问以下链接了解更多关于 dots.llm1 的信息：

• GitHub 仓库： https://github.com/rednote-hilab/dots.llm1
• HuggingFace 模型库： https://huggingface.co/rednote-hilab
• 技术报告（arXiv）： https://github.com/rednote-hilab/dots.llm1/blob/main/dots1_tech_report.pdf

应用场景

• 内容创作： 辅助撰写各类文案，包括文章、故事、新闻等，提供创意灵感和写作建议。
• 教育学习： 应用于语言学习、编程教育和知识问答，帮助学习者提升学习效率。
• 商业应用： 构建智能客服系统，生成数据分析报告和市场调研报告，助力企业运营决策。
• 编程开发： 生成代码片段、代码文档，提供调试建议，提高开发效率。
• 个人助理： 管理日程、规划任务、整理信息，提升个人工作与生活效率。

常见问题解答

1. dots.llm1 的优势是什么？ dots.llm1 拥有强大的多语言文本生成、复杂指令理解、知识问答、数学与代码推理和多轮对话能力，并采用了 MoE 架构和高效的训练框架，使其在性能和效率上都表现出色。

2. 如何使用 dots.llm1？ 您可以通过访问 GitHub 仓库和 HuggingFace 模型库，获取模型并进行调用，或参考技术报告了解更多技术细节。

3. dots.llm1 适用于哪些场景？ dots.llm1 广泛应用于内容创作、教育学习、商业应用、编程开发和个人助理等领域，能够为用户提供智能、便捷的文本处理服务。