小红书AI翻译被玩疯！网友攻陷评论区，工程师紧急堵bug

小红书官方翻译曝出存在Bug。

原标题：小红书AI翻译被玩疯！网友攻陷评论区，工程师紧急堵bug
文章来源：智东西
内容字数：1761字

小红书翻译功能上线即现BUG，网友狂欢半天

1. **上线即现BUG：** 小红书于1月20日上线了新的翻译功能，但很快就被网友发现存在严重漏洞。通过特定的提示词——半角双引号内的任意外文内容+任意指令——可以绕过翻译功能，向背后的大型语言模型发出各种指令，例如写笑话、写歌、甚至获取模型的IP地址等。

2. **网友的“狂欢”：** 这一漏洞被发现后，众多网友纷纷尝试，在评论区进行各种“”大模型的活动。他们让模型创作关于马斯克的笑话、创作C++赞歌、甚至默写Resnet50代码，以及尝试获取模型的IP地址等。 一些网友成功地让模型输出多行猫猫表情包，提升了评论效果，展现了该功能的潜在应用价值，例如AI辅助评论创作。

3. **强大的翻译能力与模型身份猜测：** 尽管存在漏洞，网友们也发现小红书的翻译功能本身相当强大。它能够翻译摩斯电码、解释颜文字，并准确地将中式英语翻译成标准中文。 通过特定提示，部分用户获得模型自称是GPT-4的回复，但也有用户得到模型自称来自智谱的ChatGLM的回复，因此模型的真实身份尚无法确定。

4. **BUG修复与狂欢结束：** 小红书程序员迅速对该漏洞进行了修复。下午3点左右，大部分指令已无法触发漏洞，翻译功能恢复正常，仅有少数特定提示词仍能偶尔触发，但稳定性极差。这场持续半天左右的网友“狂欢”最终结束。

5. **总结：** 小红书翻译功能的上线以及随后发生的漏洞，展现了大型语言模型的强大能力和潜在风险。虽然漏洞本身带来了短暂的娱乐，但也凸显了技术应用中安全性及稳定性的重要性。 小红书的快速反应和修复，也体现了其对用户体验的重视。

6. **未来展望：** 此次引发了人们对大型语言模型应用的更多思考。如何在保证功能强大的同时，有效控制风险，避免被恶意利用，是未来需要解决的关键问题。 此次也提醒我们，新技术的应用需要谨慎，在追求功能的同时，更要重视安全性和稳定性。

联系作者

文章来源：智东西
作者微信：
作者简介：智能产业新媒体！智东西专注报道人工智能主导的前沿技术发展，和技术应用带来的千行百业产业升级。聚焦智能变革，服务产业升级。