大神Karpathy：我给大模型「SQL注入」攻击，简直不要太轻松

AIGC动态欢迎阅读

原标题：大神Karpathy：我给大模型「SQL注入」攻击，简直不要太轻松
关键字：字符串,代码,分词,模型,表示
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：杜伟、泽南大模型的安全性，可以说是「有很大进步空间」。
AI 大牛 Andrej Karpathy 又来科普知识了，这次的主题是「利用特殊 token 对 LLM 进行类 SQL 注入的攻击」。
所谓 SQL 注入攻击，它是一种网络攻击技术。攻击者通过将恶意的 SQL 语句插入到应用程序的输入字段中，诱使后台数据库执行这些恶意的 SQL 语句。此类攻击通常利用应用程序对用户输入的处理不当，比如没有正确地对输入进行过滤或转义，导致攻击者能够访问、修改甚至删除数据库中的数据。由于人们的安全意识逐渐升高，目前对于大多数软件产品来说，SQL 注入都不应该出现。
但在大模型领域，一切都还处于初步阶段。LLM 分词器负责对输入字符串中的特殊 token（如 、 等）进行解析。虽然这看起来很方便，但最多会导致误判；最坏的情况下会导致 LLM 安全漏洞，相当于 SQL 注入攻击。
这里就要注意了：用户输入字符串是不受信任的数据。
在 SQL 注入中，你可以使用「DROP TABLE」攻击来不良代码。在 LLM 中同样会遇到相同的问题，不良代将

原文链接：大神Karpathy：我给大模型「SQL注入」攻击，简直不要太轻松

联系作者

文章来源：机器之心
作者微信：
作者简介：