巧解「数据稀缺」问题！清华开源GPD：用扩散模型生成神经网络参数｜ICLR 2024

AIGC动态欢迎阅读

原标题：巧解「数据稀缺」问题！清华开源GPD：用扩散模型生成神经网络参数｜ICLR 2024
关键字：神经网络,模型,数据,城市,参数
文章来源：新智元
内容字数：10394字

内容摘要：

新智元报道编辑：LRS 好困
【新智元导读】清华大学电子工程系城市科学与计算研究中心最近提出了一种新的时空少样本学习方法，旨在解决城市计算中广泛存在的数据稀缺性问题。该方法利用了利用扩散模型来生成神经网络参数，将时空少样本学习转换为扩散模型的预训练问题，可根据prompt（提示）生成定制的神经网络，从而适应不同数据分布和城市特征。传统的时空预测模型通常需要大量数据支持才能取得良好效果。
然而，由于城市发展水平不均衡和数据收集政策的差异，许多城市和地区的时空数据（如交通和人群流动数据）受到了限制。在这种情况下，模型在数据稀缺情况下的可迁移性变得尤为重要。现有研究主要利用数据丰富的源城市数据训练模型，并将其应用于数据稀缺的目标城市。然而，现有方法往往依赖于复杂的匹配设计，如何实现对源城市和目标城市之间更一般化的知识迁移仍然是一个挑战。
最近，预训练模型在自然语言处理和计算机视觉领域取得了显著进展，它们通过引入prompt（提示）技术来缩小微调和预训练之间的差距。这些先进的预训练模型不再需要繁琐的微调，而是利用有效的prompt技术实现快速适应。论文链接：https://openrevie

原文链接：巧解「数据稀缺」问题！清华开源GPD：用扩散模型生成神经网络参数｜ICLR 2024

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。