今日arXiv最热大模型论文：北京大学最新综述：视觉大模型中的漏洞与攻防对抗

AIGC动态欢迎阅读

原标题：今日arXiv最热大模型论文：北京大学最新综述：视觉大模型中的漏洞与攻防对抗
关键字：模型,数据,提示,方法,文本
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说原创作者 | 谢年年近年来，视觉语言大模型（LVLM）在文本转图像、视觉问答等任务中大放异彩，背后离不开海量数据、强大算力和复杂参数的支撑。
但是！大模型看似庞大的身躯背后却有一颗脆弱的“心脏”，极易受到攻击。攻击者可以通过在输入图像中添加扰动模型，轻而易举扰乱输出；针对语言组件制作恶意提示词，破坏模型输出的完整性；通过篡改训练数据削弱模型的性能和可靠性等等。一旦攻击成功，这对于下游的医疗图像识别、自动驾驶等应用无异于致命打击！
好在，最近北大团队给这些攻击手法来了个“大起底”，全面总结了不同类型的LVLM攻击方法，涵盖单模态和多模态，通过抽象出所有方法的共性，建立了更全面的分类法，并指明了未来研究的方向，条理清晰，逻辑严密。这对想了解这个领域的新手来说，简直是入门宝典！
论文标题:A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends
论文链接：https://arxiv.org/pdf/2407.07403
相关文章可在以下链接中获取：h

原文链接：今日arXiv最热大模型论文：北京大学最新综述：视觉大模型中的漏洞与攻防对抗