vivo影像规划预研部研究员官善琰：基于视觉的物理规律反演研究 | 讲座预告

AIGC动态欢迎阅读

原标题：vivo影像规划预研部研究员官善琰：基于视觉的物理规律反演研究 | 讲座预告
关键字：视觉,粒子,动态,物理,框架
文章来源：智猩猩GenAI
内容字数：0字

内容摘要：

文本到图像的扩散模型在文本提示的指导下展示了前所未有的创作能力，例如在视觉艺术、合成数据集构建以及市场营销和广告中的图像编辑等创意工作。然而，基于特定主题生成个性化实例仍然具有挑战性。
为此，vivo影像规划预研部研究员官善琰等提出一种新的框架HybridBooth。该框架融合了基于优化和直接回归方法的优点，创造一种平衡质量和速度的混合方法，从而实现了高效、精确的主题驱动生成。相关论文成果收录于ECCV 2024。同时，深度学习在模拟复杂粒子系统（如流体）的物理动力学方面显示出巨大的潜力。然而，神经网络是否可以直接从观察到的图像推断流体动力学仍然是一个悬而未决的问题。对此官善琰研究员等提出了神经流体NeuroFluid，其为首个基于粒子的流体动力学的无监督学习解决方案。相关论文成果收录于ICML 2022。NeuroFluid关键思想是在端到端可训练的框架中，将基于粒子的流体模拟与粒子驱动的神经渲染连接起来，使两个网络可以联合优化，从而获得两者之间合理的粒子表示。实验数据表明，NeuroFluid学习了更加合理的流体动力学，可以在动态基础、预测和新视图合成方面产生不错的结果。《易经·说

原文链接：vivo影像规划预研部研究员官善琰：基于视觉的物理规律反演研究 | 讲座预告