大模型混入0.001%假数据就「中毒」，成本仅5美元！NYU新研究登Nature子刊

原标题：大模型混入0.001%假数据就「中毒」，成本仅5美元！NYU新研究登Nature子刊
文章来源：新智元
内容字数：4124字

大模型医疗应用的风险：数据污染的隐患

纽约大学研究者近期在《自然-医学》发表的研究，为大模型在医疗领域的应用敲响了警钟。研究表明，即使少量（低至0.001%）的错误信息混入训练数据，也能显著提高大模型输出有害医疗信息的概率，这一现象被称为“数据中毒”。

1. 数据污染的易感性：研究人员通过创建并嵌入虚假医学文章，模拟了互联网数据污染的情况。实验结果显示，在1.3B参数的模型中，仅用0.01%和0.001%的虚假数据训练，有害输出分别增加了11.2%和7.2%。即使是更大的4B参数模型，用0.001%的虚假数据（约2000篇虚假文章，成本仅5美元）进行攻击，有害输出也会增加4.8%。 即使是参数规模更大的模型，数据污染的成本效益依然很高。

2. 现有方法的局限性：研究发现，常用的应对虚假信息的方法，如提示工程、检索增强生成（RAG）和监督微调，对已经“中毒”的大模型效果有限，降低有害响应的比例分别只有26.2%、28.4%和35.9%。

3. 基于知识图谱的解决方案：研究人员提出了一种基于生物医学知识图谱的解决方案。该方法通过命名实体识别提取模型输出中的医学短语，并与知识图谱进行交叉验证。任何无法与图谱匹配的短语都被视为潜在错误信息，从而识别出包含虚假信息的段落。该方法准确率超过90%，且计算开销小，具有可解释性。

4. 专业领域大模型的风险：该研究强调了在医疗、法律等专业领域使用大模型的风险。由于这些领域与用户利益密切相关，模型的幻觉可能造成严重后果。研究指出，即使是相对少量的数据污染，也能对专业大模型造成显著影响，这需要引起高度重视。

5. 历史偏见和数据挑战：即使是高质量的数据集，也可能包含过时的或有害的信息。例如，PubMed中仍存在大量宣扬有害医疗方法的文章。因此，完全避免医疗误信息对大模型来说是一个巨大的挑战，需要进一步研究。

6. 结论：这项研究揭示了大模型数据污染的严重性和易感性，强调了在医疗等关键领域应用大模型时，需要加强数据质量控制和安全措施。基于知识图谱的信息验证方法为解决数据污染问题提供了一种有效的途径，但仍需进一步完善和发展，以确保大模型在医疗领域的可靠性和安全性。

联系作者

文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。