Pika联创参与新研究：Diffusion能抢GPT的活了！成功挑战自回归文本范式

AIGC动态欢迎阅读

原标题：Pika联创参与新研究：Diffusion能抢GPT的活了！成功挑战自回归文本范式
关键字：模型,文本,分数,梯度,作者
文章来源：量子位
内容字数：4252字

内容摘要：

丰色发自凹非寺量子位 | 公众号 QbitAI纵观生成式AI领域中的两个主导者：自回归和扩散模型。
一个专攻文本等离散数据，一个长于图像等连续数据。
如果，我们让后者来挑战前者的主场，它能行吗？
斯坦福博士的最新研究，就搞了这么一个扩散模型VS自回归模的同台PK。
结果：
挑战成功！（下面为生成示意图，最后得到的文本是“Hello world，Iam a languagediffusionmodel，namedSEDD”）
并且他们的扩散模型在困惑度和质量上已率先超越自回归的GPT-2。
赶紧来瞧瞧。
扩散模型挑战离散数据用自回归来处理离散文本数据，即根据之前的token来预测下一个token，这可能是目前我们能想象到的最简单可行的方法。
为什么这么说？
作者在这里用GAN举了个例子：
对于图像生成，GAN首先根据随机噪声生成图像，然后使用判别器来“惩罚”偏差，因此梯度信息可以反向传播到生成器。
但如果我们假设用GAN来生成文本，就行不通了。
因为尽管我们可以定义同样原理的生成器和判别器，但文本的离散性质使得更新生成器非常难。
（图像是连续的，因此可以通过反向传播来计算梯度，但文本

原文链接：Pika联创参与新研究：Diffusion能抢GPT的活了！成功挑战自回归文本范式