ProX

ProX（Programming Every Example）是一个创新框架，旨在提升大型语言模型预训练数据的质量。与传统方法依赖人类专家制定规则不同，ProX将数据清洗视作编程挑战，支持模型自动执行细粒度的数据处理，如字符串标准化和噪声行去除。实验表明，经过ProX处理的数据在模型预训练中能够实现超过2%的性能提升，且小型模型（如0.3B参数）也能达到与人类专家相当的数据处理效果。此外，ProX在不同模型规模及预训练语料上具有广泛适用性，尤其在特定领域（如数学）的持续预训练中，能显著提升模型的表现，同时节省计算资源，为高效预训练大型语言模型提供了可行的解决方案。

ProX是什么

ProX（Programming Every Example）是一个致力于提升大型语言模型预训练数据质量的先进框架。它不同于传统方法，ProX将数据清洗任务转化为编程问题，允许模型自动执行一系列精细的操作，如字符串标准化及噪声行移除。实验结果显示，使用ProX处理过的数据进行模型预训练，可以在多个下游任务中实现超过2%的性能提升。其显著优势还在于，对不同模型规模和预训练语料库的广泛适应性，特别是在特定领域（如数学）的持续预训练中，能够显著提升模型性能而无需特定领域设计。此外，ProX通过节省训练所需的FLOPs，为高效的预训练大型语言模型提供了新的可能路径。

ProX的主要功能

• 数据精炼： ProX通过生成和执行程序来精炼大规模数据集，提高数据质量，以用于大型语言模型的预训练。
• 自动化处理： ProX自动执行每个数据样本的细粒度清洗和改进，减少对人工专家的依赖。
• 性能提升： 使用ProX处理的数据进行预训练的模型，在多项下游任务中表现出超过2%的性能提升。
• 领域灵活性： ProX可以应用于多个领域，包括数学等，提升准确性而无需特别的领域设计。
• 资源节省： 相较于基于大型语言模型的数据合成方法，ProX在保持结果质量的同时显著减少计算资源的需求。

ProX的技术原理

• 模型适应性： ProX首先在种子数据上微调小型基础语言模型，以适应数据精炼任务。
• 程序生成： 经过适应的模型为预训练语料库中的每个样本生成数据处理程序，该程序包括过滤、字符串标准化和噪声行去除等操作。
• 程序执行： 生成的程序由预定义的执行器运行，最终产生适合预训练的精炼语料库。
• 两阶段精炼： ProX包括文档级编程和块级编程两个阶段，分别进行粗粒度和细粒度的数据精炼。
• 功能调用： ProX通过灵活的功能调用来增强数据质量，统一特定的转换或清洗过程。
• 计算效率： ProX展示了如何在较少的预训练计算FLOPs下，通过投入额外计算资源精炼预训练语料库，实现更高效的预训练。

ProX项目地址

• 项目官网：gair-nlp.github.io/ProX
• GitHub仓库：https://github.com/GAIR-NLP/ProX
• HuggingFace模型库：https://huggingface.co/gair-prox
• arXiv技术论文：https://arxiv.org/pdf/2409.17115

ProX的应用场景

• 大型语言模型预训练：ProX能够提升大量高质量文本数据的质量，从而用于大型语言模型的预训练。
• 数据清洗和预处理：在数据挖掘、自然语言处理及其他机器学习任务中，ProX自动执行数据清洗和预处理步骤，减少人工干预。
• 领域适应性训练：对于医疗、法律或金融等特定领域的应用，ProX能够优化数据集，使其更好地适应专业术语和语境。
• 持续学习：在持续学习或增量学习的场景中，ProX帮助模型不断精炼数据，以适应新信息和变化。
• 数据合成：ProX能够生成高质量的合成数据，增强现有数据集，尤其适用于数据稀缺的领域。

常见问题

• ProX如何提升数据质量？
  ProX通过编程生成和执行数据处理程序，自动进行细粒度的清洗和改进，显著提高数据集的整体质量。
• ProX适用于哪些领域？
  ProX具有广泛的适应性，适用于多个领域，包括但不限于数学、医疗、法律和金融等。
• 使用ProX是否需要专业知识？
  不需要，ProX旨在自动化数据处理，减少对人工专家的依赖，使用户能够轻松应用。
• ProX的性能提升有多大？
  经过ProX处理的数据用于模型预训练时，通常能在多个下游任务中实现超过2%的性能提升。
• ProX如何节省计算资源？
  ProX通过有效的数据精炼过程，在保持结果质量的前提下，显著减少预训练时所需的计算资源。