# 使用 TRL 进行 GRPO/RL 训练使用 Transformer 强化学习 (TRL) 库实施组相对策略优化 (GRPO) 的专家级指南。该技能提供了经过实战检验的模式、关键见解和可用于生产的工作流程，用于通过自定义奖励函数微调语言模型。 ## 何时使用此技能当您需要执行以下操作时，请使用 GRPO 培训： * **强制执行特定的输出格式**（例如 XML 标签、JSON、结构化推理） * **使用客观正确性指标（数学、编码、事实检查）教授可验证的任务** * **通过奖励思维链模式提高推理能力** * **使模型与特定领域的行为保持一致**，无需标记偏好数据 * **同时优化多个目标**（格式+正确性+风格） **请勿将 GRPO 用于：** * 简单的监督微调任务（使用SFT代替） * 没有明确奖励信号的任务 * 当您已经拥有高质量的偏好对时（使用 DPO/PPO 代替） ** ** ## 核心概念 ### 1\. GRPO 算法基础知识 **关键机制：** * 为每个提示生成**多个完成**（组大小：4-16） * 使用奖励函数比较每个组内的完成情况 * 更新政策以支持相对于团体而言回报更高的响应 **与 PPO 的关键区别：** * 无需单独的奖励模型 * 样本效率更高（从组内比较中学习） * 更简单的实现和调试 **数学直觉：** 对于每个提示 p： 1. 生成N个补全：{c₁, c2, ..., cₙ} 2. 计算奖励：{r₁, r2, ..., rₙ} 3. 学会增加高回报完成的概率相对于同一组中低奖励的人 ### 2\.奖励功能设计理念 **黄金法则：** 1. **组合多个奖励函数** \- 每个处理一个方面（格式、正确性、风格） 2. **适当调整奖励** \- 权重越高=信号越强 3. **使用增量奖励** \-部分遵守部分信用 4. **独立测试奖励** \- 单独调试每个奖励函数 **奖励功能类型：** 类型 |使用案例|重量示例 ---|---|--- **正确性** |可验证的任务（数学、代码）| 2.0（最高） **格式** |严格结构执行| 0.5-1.0 **长度** |鼓励冗长/简洁 | 0.1-0.5 **风格** |惩罚不需要的模式 | -0.5至0.5 ** ** ## 实施工作流程 ### 步骤 1：数据集准备 **关键要求：** * 聊天格式提示（带有“角色”和“内容”的字典列表） * 包括系统提示以设定期望 * 对于可验证的任务，包括真实答案作为附加列 **结构示例：** 从数据集导入load_dataset，数据集 SYSTEM_PROMPT =“”“ 按以下格式回复： <推理> 【你的一步步思考】 <答案> [最终答案] ”“” def 准备数据集（原始数据）： ”“” 将原始数据转换为 GRPO 兼容格式。返回：包含列的数据集： -“提示”：列出[Dict]以及角色/内容（系统+用户消息） - 'answer': str（基本事实，可选但推荐） ”“” 返回 raw_data.map(lambda x: { ‘提示’：[ {'角色': '系统', '内容': SYSTEM_PROMPT}, {'角色': '用户', '内容': x['问题']} ], '答案': extract_answer(x['raw_answer']) }) **专业提示：** * 在复杂格式的系统提示中使用一次性或多次示例 * 保持提示简洁（max_prompt_length: 256-512 tokens） * 训练前验证数据质量（垃圾输入=垃圾输出） ### 步骤2：奖励功能实现 **模板结构：** def 奖励函数名称( 提示，#List[List[Dict]]：原提示 completions, # List[List[Dict]]: 模型生成 answer=None, # 可选：数据集中的真实情况 **kwargs # 附加数据集列 ) -> 列表[浮动]: ”“” 评估完成情况并返回奖励。返回：浮点数列表（每次完成一个） ”“” # 提取完成文本响应 = [comp[0]['content'] 用于补全中的 comp] # 计算奖励奖励=[] 对于响应中的响应：分数 = 计算分数（响应）奖励.append(分数) 返回奖励 **示例 1：正确性奖励（数学/编码）** def正确性奖励（提示、完成、答案、**kwargs）： """回答正确，奖励高分。""" 响应 = [comp[0]['content'] 用于补全中的 comp] 提取 = [响应中 r 的 extract_final_answer(r)] 返回 [2.0 如果 ans == gt 否则 0.0 对于 ans，zip 中的 gt（提取的，答案）] **示例2：格式奖励（结构化输出）** 进口再 def format_reward(完成次数, **kwargs): """奖励类似 XML 的结构化格式。""" 模式 = r'<推理>.*?\s*<答案>.*?' 响应 = [comp[0]['content'] 用于补全中的 comp] 返回 [1.0 if re.search(pattern, r, re.DOTALL) else 0.0 对于响应中的 r] **示例3：增量格式奖励（部分学分）** defincremental_format_reward（完成，**kwargs）： """对格式合规性授予部分学分。""" 响应 = [comp[0]['content'] 用于补全中的 comp] 奖励=[] 对于响应中的 r：分数 = 0.0 if r 中的“<推理>”：分数 += 0.25 如果 r 中的“”：分数 += 0.25 if r 中的“”：分数 += 0.25 如果 r 中的“”：分数 += 0.25 # 惩罚关闭标签后的额外文本如果 r.count('') == 1: extra_text = r.split('')[-1].strip() 分数 -= len(extra_text) * 0.001 奖励.append(分数) 返回奖励 **关键见解：** 结合 3-5 个奖励函数进行稳健的训练。顺序比信号的多样性更重要。 ### 步骤 3：训练配置 **内存优化配置（小 GPU）** 从 trl 导入 GRPOConfig 训练参数 = GRPOConfig( output_dir="输出/grpo-模型", # 学习率 Learning_rate=5e-6, # 越低=越稳定亚当_beta1=0.9, 亚当_beta2=0.99, 权重衰减=0.1，预热比率=0.1， lr_scheduler_type='余弦', # 批量设置 per_device_train_batch_size=1, gradient_accumulation_steps=4, # 有效批次 = 4 # GRPO 特定的 num_ Generations=8, # 组大小：建议 8-16 最大提示长度=256，最大完成长度=512， # 训练时长 num_train_epochs=1, max_steps=None, # 或者设置固定步数（例如500） # 优化 bf16=True, # 在 A100/H100 上更快 optim="adamw_8bit", # 内存高效优化器 max_grad_norm=0.1, # 日志记录日志记录步骤=1，保存步骤=100， report_to="wandb", # 或“none”表示不记录日志） **高性能配置（大GPU）** 训练参数 = GRPOConfig( output_dir="输出/grpo-模型", 学习率=1e-5， per_device_train_batch_size=4, 梯度累积步数=2， num_ Generations=16, # 更大的组 = 更好的信号最大提示长度=512，最大完成长度=1024， num_train_epochs=1, bf16=正确， use_vllm=True, # 使用 vLLM 快速生成记录步骤=10，） **关键超参数：** 参数|影响 |调优建议 ---|---|--- `num_ Generations` |团体规模比较|从 8 开始，如果 GPU 允许则增加到 16 `学习率` |收敛速度/稳定性 | 5e-6（安全），1e-5（更快，风险更高） `最大完成长度` |输出详细信息 |匹配您的任务（512 用于推理，256 用于简答） `梯度累积步骤` |有效批量大小 |如果 GPU 内存有限则增加 ### 步骤 4：模型设置和训练 **标准设置（变形金刚）** 进口火炬从 Transformer 导入 AutoModelForCausalLM、AutoTokenizer 从 peft 导入 LoraConfig 从 trl 导入 GRPPOTrainer # 加载模型 model_name = "Qwen/Qwen2.5-1.5B-指令" 模型 = AutoModelForCausalLM.from_pretrained( 型号名称， torch_dtype=torch.bfloat16, attn_implementation="flash_attention_2", # 速度提高 2-3 倍 device_map=“自动” ） tokenizer = AutoTokenizer.from_pretrained(model_name) tokenizer.pad_token = tokenizer.eos_token # 可选：LoRA 用于参数高效训练 peft_config = LoraConfig（ r=16, # 排名（越高=容量越大） lora_alpha=32, # 缩放因子（通常为 2*r）目标模块=[ “q_proj”，“k_proj”，“v_proj”，“o_proj”， “gate_proj”、“up_proj”、“down_proj” ], 任务类型=“CAUSAL_LM”，劳拉_dropout=0.05, ） # 初始化训练器培训师 = GRPPOTrainer( 型号=型号，处理类=分词器，奖励函数=[ 增量格式奖励，格式奖励，正确性奖励， ], 参数=训练参数， train_dataset=数据集， peft_config=peft_config, # 删除以进行全面微调） # 火车训练师.train() # 保存 trainer.save_model("final_model") **Unsloth 设置（快 2-3 倍）** 从 unsloth 导入 FastLanguageModel 模型，分词器 = FastLanguageModel.from_pretrained( model_name="google/gemma-3-1b-it", 最大序列长度=1024， load_in_4bit=真， fast_inference=真， max_lora_rank=32, ）模型 = FastLanguageModel.get_peft_model( 模型, r=32， target_modules=["q_proj", "k_proj", "v_proj", "o_proj", “gate_proj”，“up_proj”，“down_proj”]，劳拉_阿尔法 = 32, use_gradient_checkpointing="unsloth", ） # 其余部分与标准设置相同训练器 = GRPOTrainer(模型=模型, ...) 训练师.train() ** ** ## 关键培训见解 ### 1\.损失行为（预期模式） * **损失开始接近 0，并在训练过程中增加** * 这是正确的 - 损失衡量 KL 与初始政策的差异 * 模型正在学习（偏离原始行为以优化奖励） * 监控奖励指标而不是进度损失 ### 2\.奖励追踪需要关注的关键指标： * `奖励`：所有完成的平均 * `reward_std`：群体内的多样性（应保持 > 0） * `kl`：KL 与参考的散度（应该适度增长） **健康的训练模式：** 步数奖励 Reward_Std KL 100 0.5 0.3 0.02 200 0.8 0.25 0.05 300 1.2 0.2 0.08 ← 进展良好 400 1.5 0.15 0.12 **警告标志：** * 奖励标准 → 0（模型崩溃为单一响应） * KL爆炸（>0.5）（发散太多，减少LR） * 奖励卡住（奖励功能太苛刻或者模型容量问题） ### 3\.常见陷阱和解决方案问题 |症状|解决方案 ---|---|--- **模式崩溃** |所有完成情况均相同 |增加“num_ Generations”，添加多样性惩罚 **没有学习** |固定奖励|检查奖励函数逻辑，增加LR **OOM 错误** | GPU 内存超出 |减少“num_ Generations”，启用梯度检查点 **缓慢训练** | < 1 次/秒 |启用 `use_vllm=True`，使用 Unsloth，减少 seq 长度 **忽略格式** |模型不遵循结构|增加格式奖励权重，增加增量奖励 ** ** ## 高级模式 ### 1\.多阶段训练对于复杂的任务，分阶段训练： # 第 1 阶段：格式合规性（epochs=1） trainer_stage1 = GRPOTrainer( 型号=型号， reward_funcs=[incremental_format_reward, format_reward], ... ） trainer_stage1.train() # 第 2 阶段：正确性（epochs=1） trainer_stage2 = GRPOTrainer( 型号=型号，奖励_funcs = [格式奖励，正确性奖励]， ... ） trainer_stage2.train() ### 2\.自适应奖励调整自适应奖励类： def __init__(自身，base_reward_func，initial_weight=1.0): self.func = base_reward_func self.weight = 初始权重 def __call__(self, *args, **kwargs): 奖励 = self.func(*args, **kwargs) return [r * self.weight for r 在奖励中] def adjustment_weight(自我, 成功率): """如果模型有困难就增加重量，如果成功就减少重量。""" 如果 success_rate < 0.3：自重 *= 1.2 elif 成功率 > 0.8：自重 *= 0.9 ### 3\.自定义数据集集成 def load_custom_knowledge_base(csv_path): """示例：学校交流平台文档。""" 将 pandas 导入为 pd df = pd.read_csv(csv_path) 数据集 = Dataset.from_pandas(df).map(lambda x: { ‘提示’：[ {'角色': '系统', '内容': CUSTOM_SYSTEM_PROMPT}, {'角色': '用户', '内容': x['问题']} ], '答案': x['expert_answer'] }) 返回数据集 ** ** ## 部署和推理 ### 保存并合并 LoRA # 将 LoRA 适配器合并到基础模型中 if hasattr(trainer.model, 'merge_and_unload'): merged_model = trainer.model.merge_and_unload() merged_model.save_pretrained(“生产模型”) tokenizer.save_pretrained(“生产模型”) ### 推理示例从变压器进口管道生成器=管道（ “文本生成”，模型=“生产模型”，分词器=分词器）结果=生成器（ [ {'角色': '系统', '内容': SYSTEM_PROMPT}, {'role': 'user', 'content': "15 + 27 是什么？"} ], 最大新令牌=256， do_sample=真，温度=0.7，顶部_p=0.9 ）打印（结果[0]['生成的文本']） ** ** ## 最佳实践清单 **训练前：** * 验证数据集格式（提示为List[Dict]） * 在样本数据上测试奖励函数 * 根据数据计算预期的 max_prompt_length * 根据GPU显存选择合适的num_ Generations * 设置日志记录（推荐wandb） **培训期间：** * 监控奖励进展（应该增加） * 检查reward_std（应保持> 0.1） * 观察 OOM 错误（如果需要，减少批量大小） * 每 50-100 步生成一次样本 * 验证保留集的格式合规性 **训练后：** * 如果使用 PEFT，则合并 LoRA 权重 * 根据不同的提示进行测试 * 与基准模型比较 * 记录奖励权重和超参数 * 保存再现性配置 ** ** ## 故障排除指南 ### 调试工作流程 1. **隔离奖励函数** \- 独立测试每个函数 2. **检查数据分布** \- 确保提示的多样性 3. **降低复杂性** \- 从单一奖励开始，逐渐添加 4. **监控代数** \- 每N步打印样本 5. **验证提取逻辑** \- 确保答案解析有效 ### 快速修复 # 调试奖励函数 def debug_reward(完成, **kwargs): 响应 = [comp[0]['content'] 用于补全中的 comp] for i, r in enumerate(responses[:2]): # 打印第一个 2 print(f"响应 {i}: {r[:200]}...") return [1.0] * len(responses) # 虚拟奖励 # 无需训练即可测试训练员 = GRPOTrainer(...,reward_funcs=[debug_reward]) trainer.generate_completions(dataset[:1]) # 生成而不更新 ** ** ## 参考资料和资源 **官方文档：** * TRL GRPO 培训师： * DeepSeek R1 论文： * Unsloth 文档： **示例存储库：** * 开放 R1 实现： * TRL 示例： **推荐阅读：** * 代理指令的渐进式披露模式 * RL 中的奖励塑造（Ng 等人） * LoRA 论文（Hu 等人，2021） ** ** ## 代理使用说明当该技能加载时： 1. **在实施 GRPO 培训之前阅读整个文件** 2. **从最简单的奖励函数开始**（例如，基于长度的）来验证设置 3. **使用 `templates/` 目录中的模板** 作为起点 4. **参考示例**位于“examples/”中，用于特定于任务的实现 5. **按顺序遵循工作流程**（不要跳过步骤） 6. **增量调试** \- 一次添加一个奖励功能 **重要提醒：** * 始终使用多种奖励函数（3-5 最佳） * 监控奖励指标，而不是损失 * 训练前测试奖励函数 *从小规模开始（num_ Generations = 4），逐渐扩大规模 * 经常保存检查点（每100步）该技能专为**专家级实施**而设计。初学者在尝试 GRPO 之前应该从监督微调开始。

团体 Rl 培训

包含技能