OpenAI开源了：Transformer自动debug工具上线GitHub

AIGC动态欢迎阅读

原标题：OpenAI开源了：Transformer自动debug工具上线GitHub
关键字：神经元,编码器,模型,注意力,组件
文章来源：机器之心
内容字数：3472字

内容摘要：

机器之心报道
编辑：泽南不用敲代码，就可以快速探索模型结构。最近时常被吐槽不够开源的 OpenAI，突然开放了一次。
今天一早，OpenAI 机器学习研究员 Jan Leike 宣布，OpenAI 开放了自己内部一直用于分析 Transformer 内部结构的工具。GitHub 链接：https://github.com/openai/transformer-debugger
该项目开放才几个小时，虽然没有经过太多宣传，star 数量上涨得也挺快。Transformer Debugger 介绍
Transformer Debugger (TDB) 是 OpenAI 对齐团队（Superalignment）开发的一种工具，旨在支持对小体量语言模型的特定行为进行检查。据介绍，该工具把自动可解释性技术与稀疏自动编码器进行了结合。
具体来说，TDB 能够在需要编写代码之前进行快速探索，并能够干预前向传递，帮助人们查看它是如何影响模型特定行为的。TDB 可用于回答诸如「为什么模型在此提示（prompt）中输出 token A 而不是 token B？」之类的问题或「为什么注意力头 H 会在这个提

原文链接：OpenAI开源了：Transformer自动debug工具上线GitHub