OpenAI开源了：Transformer自动debug工具上线GitHub

AIGC动态10个月前发布 almosthuman2014

1,040 0 0

模型信息

【模型公司】 OpenAI
【模型名称】 gpt-3.5-turbo-0125
【摘要评分】 ★★☆☆☆

文章摘要

【关键词】 Transformer、Debugger、TDB、分析、模型

OpenAI最近开放了用于分析Transformer内部结构的工具Transformer Debugger（TDB），该工具结合了自动可解释性技术和稀疏自动编码器，可以帮助人们快速探索模型结构并干预前向传递，以便分析模型特定行为。TDB可以回答关于模型输出的问题，如为什么输出某个token而不是另一个，以及为什么某个注意力头在某个提示下关注某个token。OpenAI开源了Neuron viewer、Activation server、Models和整理好的激活数据集等内容，以帮助人们使用TDB进行模型分析。安装设置包括在虚拟环境中安装存储库、设置激活服务器后端和神经元查看器前端等步骤。Jan Leike表示，TDB目前是一个早期阶段的研究工具，希望通过开源让更多人受益并期待社区改进。