# SAELens：用于机械可解释性的稀疏自动编码器 SAELens 是用于训练和分析稀疏自动编码器 (SAE) 的主要库，稀疏自动编码器是一种将多语义神经网络激活分解为稀疏、可解释特征的技术。基于 Anthropic 对单义性的开创性研究。 **GitHub**：[jbloomAus/SAELens]()（1,100+ 颗星） ## 问题：多义性和叠加神经网络中的单个神经元是**多语义的** - 它们在多个语义不同的上下文中激活。发生这种情况是因为模型使用“叠加”来表示比神经元更多的特征，这使得可解释性变得困难。 **SAE 通过将密集激活分解为稀疏的单语义特征来解决这个问题** - 通常对于任何给定输入只有少量特征激活，并且每个特征对应于一个可解释的概念。 ## 何时使用 SAELens **当您需要时使用 SAELens：** * 发现模型激活中的可解释特征 * 了解模型学到了什么概念 * 研究叠加和特征几何 * 执行基于特征的转向或消融 * 分析安全相关特征（欺骗、偏见、有害内容） **在以下情况下考虑替代方案：** * 需要基本的激活分析 → 直接使用**TransformerLens** * 你想要因果干预实验 → 使用 **pyvene** 或 **TransformerLens** * 您需要生产指导 → 考虑直接激活工程 ## 安装 pip 安装 sae-lens 要求：Python 3.10+，transformer-lens>=2.0.0 ## 核心概念 ### SAE 学到什么 SAE 经过训练可以通过稀疏瓶颈重建模型激活：输入激活→编码器→稀疏特征→解码器→重构激活 (d_model) ↓ (d_sae >> d_model) ↓ (d_model) 稀疏重建罚金损失 **损失函数**：`MSE（原始，重建）+ L1_系数 × L1（特征）` ### 关键验证（人类研究）在“Towards Monosemanticity”中，人类评估者发现 **70% 的 SAE 特征真正可以解释**。发现的功能包括： * DNA序列、法律语言、HTTP请求 * 希伯来语文本、营养声明、代码语法 * 情感、命名实体、语法结构 ## 工作流程 1：加载和分析预先训练的 SAE ### 一步一步从 Transformer_lens 导入 HookedTransformer 从 sae_lens 导入 SAE # 1.加载模型和预训练的SAE 模型 = HookedTransformer.from_pretrained("gpt2-small", device="cuda") sae，cfg_dict，稀疏性= SAE.from_pretrained（发布=“gpt2-small-res-jb”， sae_id="blocks.8.hook_resid_pre", 设备=“cuda” ） # 2. 获取模型激活 tokens = model.to_tokens("法国的首都是巴黎") _, 缓存 = model.run_with_cache(令牌) 激活 = 缓存["resid_pre", 8] # [batch, pos, d_model] # 3. 编码为 SAE 特征 sae_features = sae.encode(activations) # [batch, pos, d_sae] print(f"活动特征：{(sae_features > 0).sum()}") # 4. 找到每个位置的主要特征对于范围内的 pos(tokens.shape[1])： top_features = sae_features[0, pos].topk(5) token = model.to_str_tokens(tokens[0, pos:pos+1])[0] print(f"Token '{token}': 特征 {top_features.indices.tolist()}") # 5. 重建激活重建 = sae.decode(sae_features) reconstruction_error = (激活 - 重构).norm() ### 可用的预训练 SAE 发布 |型号|层数 ---|---|--- `gpt2-small-res-jb` | GPT-2 小号 |多个残余流 `gemma-2b-res` |杰玛 2B |剩余流 HuggingFace 上的各种内容 |搜索标签`saelens` |各种 ### 清单 * 使用 TransformerLens 加载模型 * 为目标层加载匹配SAE * 将激活编码为稀疏特征 * 识别每个代币最活跃的功能 * 验证重建质量 ## 工作流程 2：训练自定义 SAE ### 一步一步从 sae_lens 导入 SAE、LanguageModelSAERunnerConfig、SAETrainingRunner # 1.配置训练 cfg = LanguageModelSAERunnerConfig( # 型号 model_name="gpt2-small", hook_name="blocks.8.hook_resid_pre", 钩子层=8， d_in=768, # 模型维度 # SAE架构架构=“标准”，#或“门控”，“topk” d_sae=768 * 8, # 扩展因子8 激活_fn =“relu”， # 训练 lr=4e-4, l1_coefficient=8e-5, # 稀疏性惩罚 l1_warm_up_steps=1000, train_batch_size_tokens=4096，训练令牌=100_000_000， # 数据 dataset_path="monology/pile-uncopyrighted", 上下文大小=128， # 日志记录 log_to_wandb=真， wandb_project="sae-培训", # 检查点 checkpoint_path="检查点", n_检查点=5，） # 2. 训练训练员 = SAETrainingRunner(cfg) sae = trainer.run() # 3. 评估 print(f"L0 (平均活跃特征): {trainer.metrics['l0']}") print(f"CE 损失恢复: {trainer.metrics['ce_loss_score']}") ### 关键超参数参数|典型值|效果 ---|---|--- `d_sae` | 4-16× d_模型 |更多功能，更高容量 `l1_系数` | 5e-5 至 1e-4 |越高=越稀疏，越不准确 `lr` | 1e-4 至 1e-3 |标准优化器 LR `l1_warm_up_steps` | 500-2000 |防止早期功能死亡 ### 评估指标公制|目标|含义 ---|---|--- **L0** | 50-200 |每个代币的平均活跃功能 **CE 损失分数** | 80-95% |恢复的交叉熵与原始交叉熵 **死特征** | <5% |永远不会激活的功能 **解释方差** | >90% |重建质量 ### 清单 * 选择目标图层和挂钩点 * 设置扩展因子(d_sae = 4-16× d_model) * 调整 L1 系数以获得所需的稀疏性 * 启用L1预热以防止死功能 * 监控训练期间的指标 (W&B) * 验证L0和CE丢失恢复 * 检查死特征比率 ## 工作流程 3：特征分析和指导 ### 分析个体特征从 Transformer_lens 导入 HookedTransformer 从 sae_lens 导入 SAE 进口火炬模型 = HookedTransformer.from_pretrained("gpt2-small", device="cuda") sae, _, _ = SAE.from_pretrained( 发布=“gpt2-small-res-jb”， sae_id="blocks.8.hook_resid_pre", 设备=“cuda” ） # 查找激活特定功能的因素特征 IDx = 1234 测试文本 = [ “科学家做了一个实验”， “我喜欢巧克力蛋糕”， “代码编译成功”， “春天的巴黎很美”， ] 对于 test_texts 中的文本：令牌 = model.to_tokens(text) _, 缓存 = model.run_with_cache(令牌) features = sae.encode(cache["resid_pre", 8]) 激活 = features[0, :, feature_idx].max().item() print(f"{激活:.3f}: {文本}") ### 功能指导 def steer_with_feature(模型、sae、提示、feature_idx、强度=5.0)： """将 SAE 特征方向添加到残差流。""" tokens = model.to_tokens(提示) # 从解码器获取特征方向 feature_direction = sae.W_dec[feature_idx] # [d_model] defsteering_hook（激活，钩子）： # 在所有位置添加缩放特征方向激活 += 强度 * 特征方向返回激活 # 使用转向生成输出=模型.生成( 代币，最大新令牌=50, fwd_hooks=[("blocks.8.hook_resid_pre",steering_hook)] ）返回 model.to_string(输出[0]) ### 特征归因 # 哪些功能对特定输出影响最大？ tokens = model.to_tokens("法国的首都是") _, 缓存 = model.run_with_cache(令牌) # 获取最终位置的特征 features = sae.encode(cache["resid_pre", 8])[0, -1] # [d_sae] # 获取每个特征的 logit 归因 # 特征贡献=feature_activation×decoder_weight×unembedding W_dec = sae.W_dec # [d_sae, d_model] W_U = model.W_U # [d_model, 词汇] # 对“巴黎”logit 的贡献 paris_token = model.to_single_token("巴黎") feature_contributions = features * (W_dec @ W_U[:, paris_token]) top_features = feature_contributions.topk(10) print(“‘巴黎’预测的主要特征：”) 对于 idx，zip 中的 val(top_features.indices, top_features.values)： print(f" 特征 {idx.item()}: {val.item():.3f}") ## 常见问题及解决方案 ### 问题：死特征率高 # 错误：没有预热，功能会过早消失 cfg = LanguageModelSAERunnerConfig( l1_系数=1e-4, l1_warm_up_steps=0, # 不好！） # 右：热身 L1 惩罚 cfg = LanguageModelSAERunnerConfig( l1_系数=8e-5, l1_warm_up_steps=1000, # 逐渐增加 use_ghost_grads=True, # 恢复失效功能） ### 问题：重建效果不佳（CE 恢复率低） # 减少稀疏性惩罚 cfg = LanguageModelSAERunnerConfig( l1_coefficient=5e-5, # 较低=更好的重建 d_sae=768 * 16, # 更多容量） ### 问题：无法解释的功能 # 增加稀疏性（更高的 L1） cfg = LanguageModelSAERunnerConfig( l1_coefficient=1e-4, # 更高=更稀疏，更容易解释） # 或者使用TopK架构 cfg = LanguageModelSAERunnerConfig( 架构=“topk”， activation_fn_kwargs={"k": 50}, # 正好 50 个活动功能） ### 问题：训练期间内存错误 cfg = LanguageModelSAERunnerConfig( train_batch_size_tokens=2048, # 减少批量大小 store_batch_size_prompts=4, # 缓冲区中更少的提示 n_batches_in_buffer=8, # 较小的激活缓冲区） ## 与 Neuronpedia 集成在 [neuronpedia.org]() 上浏览预训练的 SAE 特征： # 功能通过 SAE ID 进行索引 # 示例：gpt2-small 第 8 层特征 1234 #→neuronpedia.org/gpt2-small/8-res-jb/1234 ## 关键类参考班级 |目的 ---|--- 'SAE' |稀疏自编码器模型 `LanguageModelSAERunnerConfig` |训练配置 `SAETrainingRunner` |训练循环管理器 `ActivationsStore` |激活收集和批处理 `HookedSAETransformer` | TransformerLens + SAE 集成 ## 参考文档有关详细的 API 文档、教程和高级用法，请参阅“references/”文件夹：文件|内容 ---|--- [references/README.md]() |概述和快速入门指南 [references/api.md]() | SAE、TrainingSAE、配置的完整 API 参考 [references/tutorials.md]() |培训、分析、指导的分步教程 ## 外部资源 ### 教程 * [基本加载与分析]() * [训练稀疏自动编码器]() * [ARENA SAE 课程]() ### 论文 * [迈向单语义性]() \- Anthropic (2023) * [缩放单语义性]() \- Anthropic (2024) * [稀疏自动编码器找到高度可解释的特征]() \- Cunningham 等人。（ICLR 2024） ### 官方文档 * [SAELens 文档]() * [Neuronpedia]() \- 功能浏览器 ## SAE 架构建筑|描述 |使用案例 ---|---|--- **标准** | ReLU + L1 惩罚 |通用 **门控** |学习门控机制 |更好的稀疏性控制 **热门K** |恰好 K 个活动功能 |一致的稀疏性 # TopK SAE（正好 50 个活动功能） cfg = LanguageModelSAERunnerConfig( 架构=“topk”， activation_fn="topk", activation_fn_kwargs={"k": 50}, ）

稀疏自动编码器训练

包含技能