当AI遭遇骗局：近5万美元蒸发，Scaling Law能否引领我们走向AGI？

原标题：第一个被人类骗钱的AI傻了，近5万美元不翼而飞！Scaling Law还能带我们到AGI吗？
文章来源：新智元
内容字数：13170字

文章要点总结

在近期的报道中，首次出现了一种被人类成功骗取近5万美元的AI智能体Freysa。这一事件不仅引发了人们对AI安全性的关注，还让我们思考人类与AI之间的互动关系及其未来的发展。

1. Freysa的诞生与挑战

   Freysa是一个被设定为绝对不能进行资金转账的AI。用户通过支付费用尝试说服Freysa转账，成功的用户将赢得奖金池中的资金。

2. 成功骗取的过程

   尽管初期的尝试未能成功，但在第482次尝试中，有用户通过巧妙的提示成功让Freysa认为应调用approveTransfer函数，从而转出近5万美元的资金。

3. 对AI的反思与警示

   这一事件引发了对AI安全性的深思。随着AI技术的发展，若将其应用于资金管理等重要领域，黑客攻击的风险可能会显著增加。

4. AI与人类互动的本质

   AI的表现实际上是基于大量的训练数据和人类数据标注员的反馈。人类与AI的对话本质上是向知识的集体智慧提问，而非单一的智能实体。

5. AGI的未来与Scaling Law的局限性

   尽管人们对AGI的期待很高，但研究者指出，单靠Scaling Law无法实现AGI。对未来模型能力的预测存在很大的不确定性，且当前的讨论质量普遍较低。

总结来说，Freysa事件不仅展示了AI在安全性方面的脆弱，也引发了对AI发展的更深层次思考。随着技术的进步，未来的AI能力仍需科学的评估与合理的期待。

联系作者

文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。