DAFI：稀疏自编码器特征的双端智能体解释

作者：Dewen Liu、Zixuan Li、Jonathan Pan、Zhao Wu、Zijun Yao、Juanzi Li、Xiaozhi Wang（清华） 发布：2026-09-28 · arXiv:2609.35367 · 代码 github.com/THUAIS-Lab/DAFI

一句话总结

提出函数式解释（functional interpretation）概念——把一个 SAE 特征刻画为"从激活它的输入语义到干预后输出效果"的映射，并用智能体主动收集证据来精化这种解释。

背景：SAE 特征解释是块硬骨头

稀疏自编码器（SAE）是机制可解释性的重要工具，但解释它的众多特征仍然极具挑战：

• 数据驱动法需要跑大语料找强激活样本，成本高昂，有时还受隐私限制
• Logit Lens 虽免去采样，但对大量 SAE 特征解释失败

现有方法的两处空白

现有方法要么刻画输入侧激活模式，要么刻画输出侧干预效果，但两者的功能联系通常是隐式的。

方法：DAFI（Dual-End Agentic Feature Interpretation）

一个主动收集证据、通过组件特定反馈分别精化「输入侧解释」「输出侧解释」「函数式解释」的智能体。

关键设计是短上下文 token 探测（short-context token probing）——按需收集激活证据，无需全语料扫描。

结果

在 GemmaScope 上：

• Input score 相比 SAGE +13.1 个百分点
• Output score 相比 Token Change +38.9 个百分点
• token 效率显著优于通用编码智能体

从成功精化中蒸馏出的技能把留出集联合通过率从 58.0% 提升到 92.0%，且迁移到新的 model-SAE 设定时仍同时改善解释质量与效率。

一个值得注意的发现

在具备可靠端点解释的特征中，70.7% 表现出输入语义与输出语义不等价。

这个数字很有意味：意味着"这个特征被什么激活"和"它影响什么输出"在多数情况下是两件事——这对特征编辑的实践有直接启示。

在 AxBench 上，DAFI 在 steering 特征选择上也优于按输出分数过滤的基线。

论文：From Input to Output: A Flexible Agent for Dual-End Interpretation of Sparse Autoencoder Features