Multi-SWE-bench

Multi-SWE-bench – 字节豆包开源的多语言代码修复基准

Multi-SWE-bench

Multi-SWE-bench是字节跳动豆包大模型团队推出的首个多语言代码修复基准，旨在为全栈工程提供全面的评测标准。该基准在SWE-bench的基础上，首次扩展至包括Python以外的七种主流编程语言，如Java、TypeScript、JavaScript、Go、Rust、C和C++。数据集中收录了1632个真实的修复任务，均选自GitHub issue，经过严格筛选和人工验证，确保样本具备明确的问题描述、正确的修复补丁以及可复现的测试环境。

Multi-SWE-bench是什么

Multi-SWE-bench是字节跳动豆包大模型团队开源的多语言代码修复基准，首次覆盖了除Python外的七种流行编程语言，包括Java、TypeScript、JavaScript、Go、Rust、C和C++。该基准数据集包含1632个真实的修复任务，这些任务均来源于GitHub issue，经过精心挑选与人工审核，确保每个样本都有清晰的问题描述、有效的修复补丁和可复现的运行环境。同时，数据集引入了任务难度分级机制，涵盖从简单到复杂的各种开发挑战。

主要功能

多语言代码修复评估：Multi-SWE-bench作为业内首个多语言代码修复基准，首次涵盖了七种主流编程语言，全面评估大模型在不同编程环境下的自动修复能力。
任务难度分级：该数据用了任务难度分级机制，将问题分为简单、中等和困难三类。这种分级方式从一行修改到多文件、多步骤、多语义依赖的开发挑战，能够更系统地评估大模型在不同能力层次上的表现。
真实数据支持：Multi-SWE-bench的1632个实例全部源自真实的开源项目（GitHub issue），经过统一的测试标准和专业开发者的审核，确保每个样本具备清晰的问题描述、有效的修复补丁和可复现的测试环境，保证了数据集的质量与实用性。

技术原理

数据来源与质量控制：数据集中所有实例均来自真实的开源仓库（GitHub issue），并经过严格的五阶段数据构建流程：
- 开源仓库筛选：基于GitHub公开仓库，从多个维度挑选高质量项目。
- 拉取请求爬取：收集与问题相关的拉取请求（PR），提取关键信息。
- Docker环境构建：为每个PR建立相应的Docker容器，确保每个任务具备完整的可运行性。
- PR过滤与验证：通过三种状态的测试流程（原始状态、仅应用测试补丁、同时应用测试与修复补丁）来识别有效的修复行为。
- 人工验证：引入人工双重标注过程，确保数据的可靠性与准确性。
强化学习支持：为了支持强化学习（RL）在代码修复任务中的应用，团队开源了Multi-SWE-RL，社区提供4723个结构化的训练样本，每个样本均配备可复现的Docker环境，支持一键启动、自动评估和快速接入RL训练框架。这种“评估+训练”的双轮驱动模式，为大模型的持续优化提供了强有力的支持。

项目地址

项目官网：https://multi-swe-bench.github.io/#/
Github仓库：https://github.com/multi-swe-bench/multi-swe-bench
HuggingFace数据集：https://huggingface.co/datasets/ByteDance-Seed/Multi-SWE-bench
arXiv技术论文：https://arxiv.org/pdf/2504.02605

应用场景

代码修复自动化：开发者可以利用Multi-SWE-bench训练的模型自动识别并修复代码中的Bug，从而减少人工调试的时间和精力。
模型性能评估与提升：该数据集为大模型提供了系统性的评测基准，帮助开发者和研究人员评估模型在不同编程语言和任务难度下的表现。
编程语言比较研究：通过分析不同编程语言下的Bug修复能力，研究人员能够深入探讨各语言的优缺点。
智能学习与教育：Multi-SWE-bench为开发者和学习者提供了一个学习与提升的平台，帮助其更好地理解不同编程语言中的常见错误及修复方法，提升编程能力和问题解决能力。