Day 2：化微调（RFT）炸场！只需几十条数据就能让o1-mini吊打o1，OpenAI 又双叒叕搞事了！

现在可以用这套化微调技术，打造属于自己的 GPT-4 专属版本！

原标题：Day 2：化微调（RFT）炸场！只需几十条数据就能让o1-mini吊打o1，OpenAI 又双叒叕搞事了！
章来源：AI小岛
内容字数：27字

OpenAI 推出化微调技术，赋能小模型崛起

在人工智能域，OpenAI 近期推出的化微调（Reinforcement Fine-Tuning,RFT）技术引起了广泛关注。继 Day 1 发布 o1 满血版之后，Day 2 的 RFT 更是成为了业界的“锏”。这一全的模型定制技术不仅使小模型 o1-mini 在特定域的性能提升达到了惊人的 80%，甚至超越了大哥 o1。这一切的实现，只需少量高质量的数据支持。

什么是化微调？

化微调（RFT）是一种颠覆传统“大数据微调”方法的技术。它通过少量样本和反馈机制来实现模型的精准优化。RFT 的核心理念并不复杂，它并非普通的微调，也不是传统的监督学习微调，而是 OpenAI 内部开发的一项关键技术。

o1-mini 的逆袭之路

在一场直播中，OpenAI 通过 RFT 为 o1-mini 进行了简单的微调，结果使得这个“小模型”在某些专业任务上表现优于 o1。究其原因，主要有以下几点：

• 聚焦任务：o1-mini 通过 RFT 专注于特定任务，而非像 o1 那样广泛适应所有场景。
• 化反馈：模型通过高质量的参学习优化推理方式，从而提高在特定场景下的表现。
• 高效的数据使用：传统微调需要成千上万条数据，而 RFT 只需几十到几百条高质量样本即可完成优化。

化微调的工作原理

RFT 的工作原理主要依赖于任务导向的化反馈机制，帮助模型快速适应特定任务。

1. 任务与参：开发者提供任务样本和标准答案，例如法律件分析或医学报告解读。
2. 模型尝试任务：模型基于已有知识尝试完成任务，输出初步答案。
3. 化反馈机制：开发者为模型的回答打分，正确回答给予“奖励”，而错误回答则帮助优化推理方式。
4. 循环优化：经过多轮反馈后，模型在该任务上的表现接近专家水。

化微调的应用场景

RFT 的适用域广泛，尤其对科研人员而言，这一技术犹如改变游戏规则的工具。通过结合自身数据与 o1 的推理能力，研究者能够在特定域开发出性能卓越的模型。

如何开始使用 RFT？

目前，OpenAI 已向部分用户开放 RFT API 测试，并计划在 2025 年初全面推广。用户可以通过以下步骤体验这一技术：

1. 提交任务样本和标准答案。
2. 通过 API 进行多轮优化和反馈。
3. 测试和部署最终定制的模型。

小模型的春天

化微调的推出不仅是一项技术突破，更是对 AI 模型训练逻辑的深刻。传统上，模型训练往往依赖于大量的数据堆积，而 RFT 则通过少量高质量数据实现精准进化。这对于开发者和企业而言，意味着定制化 AI 的门槛大幅降低，真正实现了“小模型，大智慧”。

随着 RFT 技术的逐步推广，AI 将不再是单一的通用工具，而会成为各个域专家的得力助手。未来的 AI 将为每个用户量身定制，解决独特的需求，开启一个更加个性化的智能时代。

这样的 AI，你期待吗？

联系作者

章来源：AI小岛
作者微信：
作者简介：简单学 AI，看清未来！