Kimi K3

Kimi K3 – 月之暗面推出的 2.8 万亿参数开源大模型

Kimi K3，由月之暗面精心打造，是一款拥有惊人 2.8 万亿参数的开源大型语言模型。它集成了先进的 KDA 混合线性注意力机制与注意力残差技术，不仅原生支持强大的视觉理解能力，更拥有高达 100 万 token 的超长上下文窗口。

Kimi K3：一款划时代的开源大模型

Kimi K3 堪称全球首个开源的 3 万亿级别模型，其设计初衷是为了应对长程编程、知识工作和复杂推理等前沿智能应用场景。在编程、Agent 智能体以及知识工作相关的评测中，Kimi K3 均达到了业界领先水平。

Kimi K3 的核心能力亮点

• 深度代码理解与长时编程：它能够深入剖析庞大的代码库，持续支持长时间的工程任务，并能灵活协调使用各种终端工具，实现高效的软件开发流程。
• 多模态视觉推理：通过将软件工程的严谨性与视觉推理的直观性相结合，Kimi K3 能够利用屏幕截图和视觉反馈，显著优化游戏开发、前端界面设计以及 CAD 建模等领域的工作效率。
• GPU 内核的自主优化：在 GPU 沙箱环境中，Kimi K3 能够分析、重写并验证 GPU 内核代码，实现持续 24 小时的自主迭代优化。
• 编译器领域的创新探索：Kimi K3 具备从零开始构建类 Triton GPU 编译器的能力（MiniTriton），能够实现从完整优化到 PTX 代码生成的全流程。
• 沉浸式交互创作体验：它融合了 3D 推理、编程以及视觉能力，能够将抽象的概念转化为可交互、可玩的游戏体验。
• 自主芯片设计与验证：基于开源 EDA 工具，Kimi K3 能够自主完成芯片的构建、优化和验证，真正实现了模型为自身服务的芯片设计闭环。
• 科研流程的端到端自动化：Kimi K3 能够打通科学文献与可执行代码之间的壁垒，自主完成复杂的计算研究流程的实现、验证和深入分析。

Kimi K3 的技术基石

• KDA 混合线性注意力机制：Kimi K3 的核心是 Kimi Delta Attention（KDA）技术，这是一种创新的混合线性注意力机制。它使得信息在更长的序列和更深的模型中能够更顺畅地传递，从而极大地增强了模型处理长上下文的能力。
• 注意力残差（Attention Residuals）：引入注意力残差技术，确保了深层网络中信息传递的稳定性，有效缓解了随着模型深度增加可能出现的梯度衰减问题。
• Stable LatentMoE 稀疏架构：Kimi K3 采用了 Mixture of Experts（MoE）架构，并结合 Stable LatentMoE 框架。该架构能在 896 个专家中高效激活仅 16 个，显著提升了计算效率和参数利用率。
• 原生多模态与超长上下文支持：该模型原生具备强大的视觉理解能力，并能处理高达 100 万 token 的上下文，可以同时驾驭超长文本和多模态输入。

如何体验 Kimi K3

• 官方平台入口：用户可以通过 Kimi 官方网站、最新的 Kimi 手机 App 或 Kimi Work 桌面客户端，直接与 Kimi K3 模型进行交互对话。
• Kimi Code 客户端：针对编程场景，Kimi Code 客户端提供了专为 K3 模型优化过的体验，特别适合长程编程、代码库分析和终端工具协作等任务。
• API 集成：开发者可以通过调用 Kimi API，将 Kimi K3 集成到自己的应用程序或工作流程中，实现自动化任务和与第三方系统的无缝对接。
• 思考强度调节：目前模型默认采用“max”（极致）思考模式。未来更新将支持“low”和“high”两种思考强度，用户可根据任务复杂度进行灵活选择。

Kimi K3 的突出优势

• 规模上的引领者：作为全球首个开源的 3 万亿级别模型，Kimi K3 在过去 12 个月中，有 9 个月保持了开源模型规模的最高纪录。
• 长程自主性卓越：在长时间的工程任务中表现出高度的稳定性，能够支持长达 24 小时的自主 GPU 内核优化和 48 小时的芯片设计 Agent 运行。
• 成本效益显著：在 Kimi Code Bench 和 BrowseComp 等评测中，Kimi K3 以更低的成本实现了媲美顶级闭源模型的性能。
• 视觉反馈闭环：模型能够实现代码与实时截图之间的无缝迭代，真正地将视觉反馈融入优化过程（vision in the loop）。
• 端到端的科研能力：Kimi K3 能够自主阅读科学文献，复现计算流程，发现已发表公式中的不一致之处，并生成交互式结果展示。

Kimi K3 的项目进展

完整的模型权重预计将于 2026 年 7 月 27 日前公开发布。

Kimi K3 与同类竞品的比较分析

Kimi K3 的广泛应用场景

• 大规模软件工程的革新：Kimi K3 能够分析并重构庞大的代码库，持续支撑耗时数小时甚至数天的复杂开发任务。
• 高性能计算的优化引擎：它能为高性能计算场景自动优化 GPU 内核，甚至能从零开始构建领域专用的编译器。
• 交互式 3D 内容开发的加速器：结合视觉反馈，Kimi K3 能够快速迭代，将创意转化为可玩的 3D 游戏、仿真器或可视化作品。
• 科研计算与数据分析的智能助手：模型能够自主阅读文献、复现数值流程、评估海量状态方程，并生成交互式的研究结果仪表盘。
• 硬件芯片设计的自主探索：基于开源 EDA 工具链，Kimi K3 能够自主完成芯片架构设计、优化与验证，实现模型驱动的芯片设计。