智能的本质就是压缩？马毅团队5年心血提出「白盒」Transformer， 打开LLM黑盒！

AIGC动态欢迎阅读

原标题：智能的本质就是压缩？马毅团队5年心血提出「白盒」Transformer， 打开LLM黑盒！

关键字：研究人员,模型,架构,表征,编码器

文章来源：新智元

内容字数：8585字

内容摘要：新智元报道编辑：润 桃子【新智元导读】来自UC伯克利，港大等机构的研究人员，开创性地提出了一种「白盒」Transformer结构——CRATE。他们通过将数据从高维度分布压缩到低维结构分布，实现有效的表征，从而进一步实现了有竞争力的模型性能。这也引发了一个更为深远的讨论——难道智能的本质就是压缩吗？AI界大佬对于大模型的安全问题一直以来争吵不休，全都归咎于神经网络「黑盒」，让所有人捉摸不透。现实中，如果能找到一种构架，兼具Transformer的结构和功能性优势，又有极好的可解释性。那么，大模型的安全性问题，是不是就有解了？为了消除未来超级AI给人类带来的风险，Hinton等人大肆鼓吹「AI末日论」，也许能吸引公众注意力，促进达成共识。但最终解决问题，必须要从技术层面找到能「彻底消灭」AI风险的可行路径。拆解大模型「黑盒」，就成了最关键一步。由马毅教授带领的来自UC伯克利，TTIC，上科大…

原文链接：点此阅读原文：智能的本质就是压缩？马毅团队5年心血提出「白盒」Transformer， 打开LLM黑盒！

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。