不同数据集有不同的Scaling law？而你可用一个压缩算法来预测它

AIGC动态欢迎阅读

原标题：不同数据集有不同的Scaling law？而你可用一个压缩算法来预测它
关键字：数据,复杂度,句法,压缩率,参数
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
机器之心编辑部一般而言，训练神经网络耗费的计算量越大，其性能就越好。在扩大计算规模时，必须要做个决定：是增多模型参数量还是提升数据集大小 —— 必须在固定的计算预算下权衡此两项因素。
Scaling law 告诉我们：只要能适当地分配参数和数据，就能在固定计算预算下实现性能最大化。之前已有不少研究探索过神经语言模型的 Scaling law，而这些研究通常得出的结论是参数和训练 token 数应当一比一地扩展。
但是，之前的语言模型 Scaling law 研究都是基于在散乱的网络文本上训练的 Transformer 得到的。这是一种非常特定的数据分布，因此我们自然会问：基于这样的网络文本数据集得到的 Scaling law 是否可以泛化到其它分布？
此外，人们普遍认为，训练数据混合的秘诀在于能让前沿探索的产业界实验室能持续产出当前最佳的 LLM。考虑到提升数据质量能显著提升语言模型的性能，而强化学习的 Scaling law 也会随博弈难度而缩放，也许我们可以假设：当前的语言模型 Scaling law（即 Chinchilla）只是针对网络文本数据的具体案例，其背后还

原文链接：不同数据集有不同的Scaling law？而你可用一个压缩算法来预测它