FS-DFM

FS-DFM – 苹果联合俄亥俄州立大学推出的扩散语言模型

FS-DFM，一款由苹果公司携手俄亥俄州立大学共同研发的革新性扩散语言模型，正以前所未有的速度和效率，引领着长文本生成的新纪元。

这款名为FS-DFM（Few-Step Discrete Flow-Matching）的模型，并非简单地对现有技术进行迭代，而是从根本上优化了文本生成的流程。其核心在于将“采样步数”这一关键参数内化于模型的训练之中，使得模型能够在极少数的步骤内，便能产出质量卓著的文本内容。FS-DFM巧妙地融合了稳健的更新机制与精妙的教师指导，确保了文本生成过程中概率更新的精准无误，有效避免了过度调整带来的负面影响。在各项语言建模的基准测试中，FS-DFM以区区8步的采样，便达到了传统需要1024步离散流才能企及的困惑度水平。更令人瞩目的是，其采样速度获得了高达128倍的飞跃，极大地提升了模型的运行效率和整体吞吐量。

FS-DFM的核心亮点

效率的极致飞跃：仅需8步采样，即可媲美传统1024步扩散模型的生成效果，速度提升幅度惊人，达到128倍。
长文本生成的破局者：有效解决传统自回归模型在生成长篇幅文本时面临的效率瓶颈，为长文本创作提供了强大的支持。
稳定且可控的生成体验：通过对采样规则的精细打磨和教师指导的深度整合，保证了生成过程的稳定性和高度可控性。

FS-DFM的技术基石

离散流匹配（DFM）的强大支撑：FS-DFM的根基在于离散流匹配（Discrete Flow-Matching，DFM）这一先进框架。它通过学习从随机噪声分布逐步演化至目标文本分布的概率路径来生成文本。DFM借鉴了连续时间马尔可夫链（CTMC）的特性，提供了一种并行化的文本生成方式，相较于逐字生成的自回归模型，在效率上有着质的飞跃。
采样步数的显式优化：FS-DFM将采样步数作为一个显式的训练参数进行优化，确保模型在不同的步数预算下都能保持生成质量的一致性。这意味着模型能够以远低于传统方法（如1024步）的步骤（例如仅需8步），便能达到同等级别的文本生成质量，从而大幅节省计算资源和时间。
稳健更新规则的保障：为了在少步生成场景下维持高度的稳定性和准确性，FS-DFM引入了一种精巧的更新规则。该规则通过精细调控概率更新的方向与幅度，有效规避了“过度调整”（overshooting）的风险，使得文本生成过程更加平滑且可靠。
累积标量的巧妙应用：FS-DFM引入了“累积标量”的概念。通过对时间区间内调度器速率的积分，为每一个有限步的生成过程提供了精确的概率流。这使得模型在少步生成中能够实现高效且恰当的更新，确保在早期生成阶段便能积蓄足够的更新动力，防止生成过程过早停滞。