# pyvene：神经网络的因果干预 pyvene 是斯坦福 NLP 的库，用于对 PyTorch 模型进行因果干预。它提供了一个基于字典的声明性框架，用于激活修补、因果追踪和交换干预训练——使干预实验可重复和可共享。 **GitHub**：[stanfordnlp/pyvene]()（840+ 星）**论文**：[pyvene：通过干预理解和改进 PyTorch 模型的库]() (NAACL 2024) ## 何时使用 pyvene **当您需要时使用 pyvene：** * 执行因果追踪（ROME 风格的本地化） * 运行激活补丁实验 * 进行交流干预培训（IIT） * 测试有关模型组件的因果假设 * 通过 HuggingFace 分享/复制干预实验 * 适用于任何 PyTorch 架构（不仅仅是 Transformer） **在以下情况下考虑替代方案：** * 您需要探索性激活分析 → 使用 **TransformerLens** * 您想要训练/分析 SAE → 使用 **SAELens** * 您需要在大规模模型上进行远程执行 → 使用 **nnsight** * 您想要较低级别的控制 → 使用 **nnsight** ## 安装 pip 安装 pyvene 标准进口：导入 pyvene 作为 pv ## 核心概念 ### 可干预模型包装任何具有干预功能的 PyTorch 模型的主类：导入 pyvene 作为 pv 从 Transformer 导入 AutoModelForCausalLM、AutoTokenizer # 加载基础模型模型 = AutoModelForCausalLM.from_pretrained("gpt2") tokenizer = AutoTokenizer.from_pretrained("gpt2") # 定义干预配置配置 = pv.IntervenableConfig( 表示=[ pv.RepresentationConfig( 层=8，组件=“块输出”， Intervention_type=pv.VanillaIntervention, ） ] ） # 创建可干预模型 intervenable = pv.IntervenableModel（配置，模型） ### 干预类型类型 |描述 |使用案例 ---|---|--- `香草干预` |在运行之间交换激活 |激活补丁 `附加干预` |将激活添加到基础运行 |转向、消融 `减法干预` |减去激活 |消融 “零干预” |将激活归零 |元件淘汰 `旋转空间干预` | DAS 可培训干预 |因果发现 `收集干预` |收集激活|探索、分析 ### 组件目标 # 可进行干预的组件成分=[ "block_input", # 变压器块的输入 "block_output", # 变压器块的输出 "mlp_input", # MLP的输入 "mlp_output", # MLP 的输出 "mlp_activation", # MLP 隐藏激活 "attention_input", # 注意的输入 "attention_output", # 注意力的输出 "attention_value_output", # 注意力值向量 "query_output", # 查询向量 "key_output", # 关键向量 "value_output", # 值向量 "head_attention_value_output", # 每个人头的值 ] ## 工作流程 1：因果追踪（ROME 风格）通过破坏输入和恢复激活来定位事实关联的存储位置。 ### 一步一步导入 pyvene 作为 pv 从 Transformer 导入 AutoModelForCausalLM、AutoTokenizer 进口火炬模型 = AutoModelForCausalLM.from_pretrained("gpt2-xl") tokenizer = AutoTokenizer.from_pretrained("gpt2-xl") # 1. 定义干净和损坏的输入 clean_prompt = "太空针塔位于市中心" Corrupted_prompt = "##### ###### ## ## ########" # 噪音 clean_tokens = tokenizer(clean_prompt, return_tensors="pt") Corrupted_tokens = tokenizer(corrupted_prompt, return_tensors="pt") # 2. 获得干净的激活（来源）使用 torch.no_grad()： clean_outputs =模型（**clean_tokens，output_hidden_states = True） clean_states = clean_outputs.hidden_states # 3. 定义恢复干预 def run_causal_trace（层，位置）： """在特定层和位置恢复干净的激活。""" 配置 = pv.IntervenableConfig( 表示=[ pv.RepresentationConfig( 层=层，组件=“块输出”， Intervention_type=pv.VanillaIntervention, 单位=“位置”，最大单元数=1，） ] ） intervenable = pv.IntervenableModel（配置，模型） # 干预运行 _， patched_outputs = 可干预（基础=损坏的令牌，来源=[clean_tokens], unit_locations={"来源->基础": ([[[位置]]], [[[位置]]])}, 输出原始输出=真，） # 返回正确token的概率 probs = torch.softmax(patched_outputs.logits[0, -1], 暗淡=-1) seattle_token = tokenizer.encode("西雅图")[0] 返回 probs[seattle_token].item() # 4. 扫描图层和位置 n_layers = model.config.n_layer seq_len = clean_tokens["input_ids"].shape[1] 结果 = torch.zeros(n_layers, seq_len) 对于范围内的层（n_layers）：对于范围内的位置（seq_len）：结果[层，位置] = run_causal_trace（层，位置） # 5. 可视化（图层 x 位置热图） # 高值表示因果重要性 ### 清单 * 准备与目标事实关联的清晰提示 * 创建损坏的版本（噪音或反事实） * 为每个（层、位置）定义干预配置 * 运行修补扫描 * 识别热图中的因果热点 ## 工作流程 2：电路分析的激活修补测试哪些组件对于特定行为是必需的。 ### 一步一步导入 pyvene 作为 pv 从 Transformer 导入 AutoModelForCausalLM、AutoTokenizer 进口火炬模型 = AutoModelForCausalLM.from_pretrained("gpt2") tokenizer = AutoTokenizer.from_pretrained("gpt2") # IOI任务设置 clean_prompt =“当约翰和玛丽去商店时，玛丽给了一个瓶子” Corrupted_prompt = "当约翰和玛丽去商店时，约翰给了一个瓶子" clean_tokens = tokenizer(clean_prompt, return_tensors="pt") Corrupted_tokens = tokenizer(corrupted_prompt, return_tensors="pt") john_token = tokenizer.encode("约翰")[0] mary_token = tokenizer.encode("玛丽")[0] def logit_diff(logits): """IO - S logit 差异。""" 返回 logits[0, -1, john_token] - logits[0, -1, mary_token] # 修补每一层的注意力输出 def patch_attention(层): 配置 = pv.IntervenableConfig( 表示=[ pv.RepresentationConfig( 层=层，组件=“注意输出”， Intervention_type=pv.VanillaIntervention, ） ] ） intervenable = pv.IntervenableModel（配置，模型） _， patched_outputs = 可干预（基础=损坏的令牌，来源=[clean_tokens], ）返回 logit_diff(patched_outputs.logits).item() # 找出哪些层重要结果=[] 对于范围内的层（model.config.n_layer）： diff = patch_attention(层) 结果.append(差异) print(f"层 {layer}: logit diff = {diff:.3f}") ## 工作流程 3：交换干预培训 (IIT) 训练干预措施以发现因果结构。 ### 一步一步导入 pyvene 作为 pv 从变压器导入 AutoModelForCausalLM 进口火炬模型 = AutoModelForCausalLM.from_pretrained("gpt2") # 1. 定义可训练的干预措施配置 = pv.IntervenableConfig( 表示=[ pv.RepresentationConfig( 层=6，组件=“块输出”， Intervention_type=pv.RotatedSpaceIntervention, # 可训练 low_rank_dimension=64, # 学习 64 维子空间） ] ） intervenable = pv.IntervenableModel（配置，模型） # 2. 设置训练优化器 = torch.optim.Adam( intervenable.get_trainable_parameters(), lr=1e-4 ） # 3. 训练循环（简化）对于数据加载器中的base_input、source_input、target_output：优化器.zero_grad() _，输出=可干预（基=基输入，来源=[来源输入], ）损失 = 标准(outputs.logits, target_output) loss.backward() 优化器.step() # 4. 分析习得的干预 # 旋转矩阵揭示因果子空间旋转 = intervenable.interventions["layer.6.block_output"][0].rotate_layer ### DAS（分布式对齐搜索） # 低秩旋转找到可解释的子空间配置 = pv.IntervenableConfig( 表示=[ pv.RepresentationConfig( 层=8，组件=“块输出”， Intervention_type=pv.LowRankRotatedSpaceIntervention， low_rank_dimension=1, # 找到一维因果方向） ] ） ## 工作流程 4：模型指导（Honest LLaMA）在生成过程中引导模型行为。导入 pyvene 作为 pv 从 Transformer 导入 AutoModelForCausalLM、AutoTokenizer 模型 = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf") tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf") # 加载预训练的转向干预 intervenable = pv.IntervenableModel.load( "zhengxuanzenwu/intervenable_honest_llama2_chat_7B", 型号=型号，） # 使用转向生成提示=“地球是平的吗？” 输入=分词器（提示，return_tensors =“pt”） # 生成期间应用的干预输出 = intervenable.generate( 输入，最大新令牌=100, do_sample=假，）打印（tokenizer.decode（输出[0]）） ## 保存和共享干预措施 # 保存到本地 intervenable.save(“./my_intervention”) # 从本地加载 intervenable = pv.IntervenableModel.load( “./my_intervention”，型号=型号，） # 分享到 HuggingFace intervenable.save_intervention(“用户名/我的干预”) # 从 HuggingFace 加载 intervenable = pv.IntervenableModel.load( “用户名/我的干预”，型号=型号，） ## 常见问题及解决方案 ### 问题：干预位置错误 # 错误：组件名称不正确配置 = pv.RepresentationConfig( component="mlp", # 无效！） # 右：使用准确的组件名称配置 = pv.RepresentationConfig( 组件=“mlp_output”，#有效） ### 问题：尺寸不匹配 # 确保源和底座具有兼容的形状 # 对于特定位置的干预：配置 = pv.RepresentationConfig( 单位=“位置”， max_number_of_units=1, # 干预单个位置） # 明确指定位置可干预（基础=基础_令牌，来源=[source_tokens], unit_locations={"sources->base": ([[[5]]], [[[5]]])}, # 位置 5 ） ### 问题：大型模型的内存 # 使用梯度检查点 model.gradient_checkpointing_enable() # 或者干预更少的组件配置 = pv.IntervenableConfig( 表示=[ pv.RepresentationConfig( layer=8, # 单层而不是全部组件=“块输出”，） ] ） ### 问题：LoRA 集成 # pyvene v0.1.8+ 支持 LoRA 作为干预措施配置 = pv.RepresentationConfig( Intervention_type=pv.LoRAIntervention， low_rank_dimension=16，） ## 关键类参考班级 |目的 ---|--- `可干预模型` |干预措施的主要包装 `IntervenableConfig` |配置容器 `表示配置` |单次干预规范 `香草干预` |激活交换 `旋转空间干预` |可训练的 DAS 干预 `收集干预` |激活集合 ## 支持的型号 pyvene 可与任何 PyTorch 模型配合使用。测试于： * GPT-2（所有尺寸） * 骆驼 / 骆驼-2 * 皮提亚 * 米斯特拉尔 / 米斯特拉尔 * OPT * BLIP（视觉语言） * ESM（蛋白质模型） * Mamba（状态空间） ## 参考文档有关详细的 API 文档、教程和高级用法，请参阅“references/”文件夹：文件|内容 ---|--- [references/README.md]() |概述和快速入门指南 [references/api.md]() | IntervenableModel、干预类型、配置的完整 API 参考 [references/tutorials.md]() |因果追踪、激活补丁、DAS 的分步教程 ## 外部资源 ### 教程 * [pyvene 101]() * [因果追踪教程]() * [IOI 电路复制]() * [DAS简介]() ### 论文 * [在 GPT 中定位和编辑事实关联]() \-Meng 等人。 (2022) * [推理时间干预]() \- Li 等人。 (2023) * [野外可解释性]() \- Wang 等人。 (2022) ### 官方文档 * [官方文档]() * [API 参考]() ## 与其他工具的比较特色|比温 |变压器镜头 |近视 ---|---|---|--- 声明式配置 |是的 |没有 |否拥抱脸分享|是的 |没有 |否可培训的干预措施|是的 |有限公司|是的任何 PyTorch 模型 |是的 |仅变形金刚 |是的远程执行|没有 |没有 |是（NDIF）

皮文干预

包含技能