DataChef

DataChef – 上海AI Lab联合复旦开源的AI数据配方生成模型

DataChef：AI数据工程的革新者

在人工智能飞速发展的今天，数据作为驱动AI模型的核心要素，其质量与处理效率直接影响着模型的性能。然而，传统的数据工程流程往往耗时耗力，高度依赖人工经验和试错。上海人工智能实验室与复旦大合推出的DataChef，正是为了打破这一桎梏，引领数据工程迈向自动化新纪元。

DataChef，顾名思义，如同一个智能的“数据厨师”，能够根据用户的目标任务和可用的数据资源，自动“烹饪”出适用于大模型训练的完整数据处理流水线。它并非简单的工具集，而是一个基于强化学习的AI数据配方生成模型。通过智能化的“炼丹”过程，DataChef能够自主完成数据选择、清洗、合成、配比等一系列复杂操作，并直接输出可执行的代码。

DataChef的核心能力

• 智能配方生成：只需明确目标任务和数据来源，DataChef便能自动生成一套完整的数据处理方案。
• 代码即输出：生成的配方以可执行的Python代码形式呈现，直接构建从原始数据到训练集的自动化管道。
• 全流程覆盖：支持数据筛选、净化、增强、融合、去重等多种细致的数据处理环节。
• 即时可用性：产出的数据配方可立即用于大模型的微调，高效适配特定应用领域。
• 质量内置保障：集成的数据验证器能够实时评估数据质量，并为优化过程提供指导。

DataChef的运作机制

• 任务建模为强化学习：DataChef将数据配方生成这一复杂任务，巧妙地转化为一个端到端的强化学习问题。其策略模型能够理解任务指令，并生成包含自然语言计划和Python代码的数据配方。
• 代理奖励机制降低成本：为了克服传统数据验证成本高昂的难题，研究团队独创了Data Verifier作为代理奖励机制。该验证器能以极低的成本，实时预测数据质量，通过对样本进行分类并基于子集评分，为模型提供有效的反馈信号。
• 高效的训练与优化：模型训练初期采用监督微调进行冷启动，随后结合GRPO算法进行在线强化学习优化。通过解耦推理与代码生成，提升了策略的稳定性，使得模型能在广阔的代码组合空间中高效寻找到最优数据方案。

DataChef的关键亮点与使用前提

• 联合研发实力：由上海人工智能实验室（书生·浦语团队）与复旦大学强强联手打造。
• 强大的开源模型：已开源32B参数版本（DataChef-32B），性能表现卓越。
• 比肩顶级模型：在6个测试任务中，32B版本性能逼近闭源的Gemini-3-Pro，部分任务甚至超越了工业级专家制定的配方。
• 开创性创新：首次将数据配方生成视为一个全局决策问题，并通过在线强化学习实现自动优化闭环。
• 丰富的数据基础：覆盖19个领域、31个评测集、257个源数据集，为模型的泛化能力提供了坚实保障。

• 环境配置要求：需要Python 3.12环境，并通过pip安装相关依赖。
• 硬件资源需求：运行32B模型需要充足的显存支持，或通过API访问。
• 模型端点配置：需要配置Planner和Coder模型的API端点，支持OpenAI兼容接口。

DataChef的独特优势

• 端到端的自动化流程：摒弃了传统依赖局部规则的启发式方法，DataChef实现数据配方生成的端到端自动化，直接输出完整的、可执行的数据处理流水线，省去了人工编排的繁琐步骤。
• 强化学习驱动的自我进化：通过在线强化学习构建自动优化闭环，模型能够在巨大的代码组合空间中不断自我改进，持续探索更佳的数据处理方案，彻底告别传统的人工反复试错。
• 创新性的低成本验证机制：Data Verifier代理奖励信号的引入，使得模型能够在无需进行完整模型训练的情况下，实时预测数据质量，极大地降低了传统数据工程中效果验证的成本。
• 越级的性能表现：32B开源模型在多项测试中展现出与顶级模型比肩的实力，甚至在一些复杂任务上超越了工业级专家的成果，有力证明了AI自动生成方案的优越性。
• 开放的AI研究基础设施：构建了覆盖19个领域的大规模任务池并全面开源，为自动化AI研究、自我进化AI等前沿领域提供了系统化的支撑平台。

如何启动DataChef之旅

• 环境搭建：创建Python 3.12的虚拟环境，并执行pip install -e .命令来安装DataChef。
• 配置文件的准备：复制示例配置文件，重命名为datachef.config.json，并填入模型端点地址、API密钥以及Planner和Coder模型的具体名称。
• 输入数据的格式化：准备JSONL格式的任务文件，每行包含任务ID、任务描述和评测基准、以及候选数据源的列表。
• 启动生成流程：运行datachef-eval --config test命令，系统将自动进行数据配方计划的生成、Python代码的执行以及验证过程。
• 获取产出结果：生成的数据处理代码、执行报告以及数据质量验证分数，将分别保存在data/code/和data/data-verifier/目录下。
• 参数微调：可通过--timeout参数设定代码执行的超时时间，使用--max_workers参数控制并行Worker的数量，并利用--parse_reasoning参数查看模型的推理过程。

DataChef的资源链接

• GitHub仓库：https://github.com/yichengchen24/DataChe
• HuggingFace模型库：https://huggingface.co/yichengchen24/DataChef-32B
• arXiv技术论文：https://arxiv.org/pdf/2602.11089
• 在线体验Demo：https://huggingface.co/spaces/yichengchen24/DataChef

DataChef与竞品的比较

DataChef的应用前景

• 领域大模型训练的加速器：为数学、代码、金融、医疗、气象等专业领域自动生成定制化的数据配方，快速构建高性能的领域专用模型。
• 数据工程的智能化转型：彻底革新依赖专家经验的手动数据筛选与配比流程，实现从原始数据到训练集的端到端自动化处理。
• 模型后训练优化的利器：为现有基座模型生成高质量的微调数据，显著提升模型在特定任务上的表现。
• 低资源场景下的数据增强方案：在数据匮乏的领域，DataChef能够智能合成训练样本，通过数据增强技术有效扩充训练数据的规模。
• AI研究自动化新范式：作为自动化AI研究（Automated AI Research）的基础设施，支撑AI系统实现数据层面的自我改进闭环。