图像伪造照妖镜！北大发布多模态LLM图像篡改检测定位框架FakeShield

AIGC动态欢迎阅读

原标题：图像伪造照妖镜！北大发布多模态LLM图像篡改检测定位框架FakeShield
关键字：图像,模型,区域,数据,解释性
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：LRST
【新智元导读】北京大学的研究人员开发了一种新型多模态框架FakeShield，能够检测图像伪造、定位篡改区域，并提供基于像素和图像语义错误的合理解释，可以提高图像伪造检测的可解释性和泛化能力。随着生成式人工智能（AIGC）的迅猛发展，图像编辑与合成技术变得愈加成熟与普及。这一趋势为图像内容创作带来了便捷的同时，也显著增加了篡改检测的难度。
用户能够通过Photoshop、DeepFake、AIGC等工具对图像进行高质量编辑，且往往不留任何痕迹。在此背景下，如何准确检测并定位篡改区域，成为了学术界与工业界的关注重点。
尽管现有的图像篡改检测与定位（IFDL）算法在网络结构和训练策略上取得了一定进展，但仍存在几个主要问题：
1. 大多数方法采用黑箱模型，仅输出真实性概率，缺乏详细的检测解释，导致用户对结果的信任度降低。
2. 现有算法通常针对特定篡改技术，缺乏应对多样化篡改手段的能力，降低了实用性。
为了解决这些问题，如图1所示，北京大学与华南理工大学的研究团队提出了一种全新的任务：可解释的图像伪造检测与定位（e-IFDL），并设计了一个新颖的多模态伪造检测定位

原文链接：图像伪造照妖镜！北大发布多模态LLM图像篡改检测定位框架FakeShield