大神Karpathy:我给大模型「SQL注入」攻击,简直不要太轻松

大神Karpathy:我给大模型「SQL注入」攻击,简直不要太轻松

AIGC动态欢迎阅读

原标题:大神Karpathy:我给大模型「SQL注入」攻击,简直不要太轻松
关键字:字符串,代码,分词,模型,表示
文章来源:机器之心
内容字数:0字

内容摘要:


机器之心报道
编辑:杜伟、泽南大模型的安全性,可以说是「有很大进步空间」。
AI 大牛 Andrej Karpathy 又来科普知识了,这次的主题是「利用特殊 token 对 LLM 进行类 SQL 注入的攻击」。
所谓 SQL 注入攻击,它是一种网络攻击技术。攻击者通过将恶意的 SQL 语句插入到应用程序的输入字段中,诱使后台数据库执行这些恶意的 SQL 语句。此类攻击通常利用应用程序对用户输入的处理不当,比如没有正确地对输入进行过滤或转义,导致攻击者能够访问、修改甚至删除数据库中的数据。由于人们的安全意识逐渐升高,目前对于大多数软件产品来说,SQL 注入都不应该出现。
但在大模型领域,一切都还处于初步阶段。LLM 分词器负责对输入字符串中的特殊 token(如 、 等)进行解析。虽然这看起来很方便,但最多会导致误判;最坏的情况下会导致 LLM 安全漏洞,相当于 SQL 注入攻击。
这里就要注意了:用户输入字符串是不受信任的数据。
在 SQL 注入中,你可以使用「DROP TABLE」攻击来破解不良代码。在 LLM 中同样会遇到相同的问题,不良代码会将


原文链接:大神Karpathy:我给大模型「SQL注入」攻击,简直不要太轻松

联系作者

文章来源:机器之心
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...