# 拥抱面部工作的 TRL 培训 ## 概述在完全托管的 Hugging Face 基础设施上使用 TRL（变压器强化学习）训练语言模型。无需本地 GPU 设置 - 模型在云 GPU 上进行训练，结果会自动保存到 Hugging Face Hub。 **TRL提供多种训练方式：** * **SFT**（监督微调）- 标准指令调优 * **DPO**（直接偏好优化）- 根据偏好数据进行调整 * **GRPO**（组相关策略优化）- 在线强化学习训练 * **奖励建模** \- 训练 RLHF 的奖励模型 **详细的 TRL 方法文档：** hf_doc_search(“您的查询”，产品=“trl”) hf_doc_fetch("https://huggingface.co/docs/trl/sft_trainer") # SFT hf_doc_fetch("https://huggingface.co/docs/trl/dpo_trainer") # DPO ＃等 **另请参阅：** `references/training_methods.md` 了解方法概述和选择指南 ## 何时使用此技能当用户想要执行以下操作时，请使用此技能： * 在云 GPU 上微调语言模型，无需本地基础设施 * 使用 TRL 方法（SFT、DPO、GRPO 等）进行训练 * 在 Hugging Face Jobs 基础设施上运行训练作业 * 将训练好的模型转换为 GGUF 以进行本地部署（Ollama、LM Studio、llama.cpp） * 确保训练好的模型永久保存到 Hub * 使用具有优化默认值的现代工作流程 ## 关键指令协助培训工作时： 1. **始终使用 `hf_jobs()` MCP 工具** \- 使用 `hf_jobs("uv", {...})` 提交作业，而不是 bash `trl-jobs` 命令。 `script` 参数直接接受 Python 代码。除非用户明确请求，否则不要保存到本地文件。将脚本内容作为字符串传递给“hf_jobs()”。如果用户要求“训练模型”、“微调”或类似请求，您必须创建训练脚本并立即使用“hf_jobs()”提交作业。 2. **始终包含 Trackio** \- 每个训练脚本都应包含 Trackio 以进行实时监控。使用“scripts/”中的示例脚本作为模板。 3. **提交后提供作业详细信息** \- 提交后，提供作业 ID、监控 URL、预计时间，并注意用户可以稍后请求状态检查。 4. **使用示例脚本作为模板** \- 参考 `scripts/train_sft_example.py`、`scripts/train_dpo_example.py` 等作为起点。 ## 本地脚本依赖要在本地运行脚本（例如 `estimate_cost.py`），请安装依赖项： pip install -r 要求.txt ## 先决条件清单在开始任何培训作业之前，请验证： ### ✅ **帐户和身份验证** * 使用 [Pro]()、[Team]() 或 [Enterprise]() 计划拥抱面部帐户（工作需要付费计划） * 验证登录：使用 hf_whoami() 检查 * **用于 Hub 推送的 HF_TOKEN** ⚠️ 关键 - 训练环境是短暂的，必须推送到 Hub，否则所有训练结果都会丢失 * Token必须有写权限 * **必须在作业配置中传递 `secrets={"HF_TOKEN": "$HF_TOKEN"}` 以使令牌可用（`$HF_TOKEN` 语法引用您的实际令牌值） ### ✅ **数据集要求** * 数据集必须存在于 Hub 上或者可以通过“datasets.load_dataset()”加载 * 格式必须匹配训练方法（SFT：“消息”/文本/提示完成；DPO：选择/拒绝；GRPO：仅提示） * **在 GPU 训练之前始终验证未知数据集**，以防止格式失败（请参阅下面的数据集验证部分） * 适合硬件的大小（演示：t4-small 上有 50-100 个示例；生产：a10g-large/a100-large 上有 1K-10K+） ### ⚠️ **关键设置** * **超时必须超过预期的训练时间** \- 默认 30 分钟对于大多数训练来说太短了。建议最短时间：1-2 小时。如果超过超时，作业将失败并丢失所有进度。 * **必须启用集线器推送** \- 配置： `push_to_hub=True`, `hub_model_id="username/model-name"`;作业：`secrets={"HF_TOKEN": "$HF_TOKEN"}` ## 异步作业指南 **⚠️ 重要提示：训练作业异步运行，可能需要几个小时** ### 需要采取行动 **当用户请求培训时：** 1. **创建包含 Trackio 的训练脚本**（使用 `scripts/train_sft_example.py` 作为模板） 2. **立即提交** 使用 `hf_jobs()` MCP 工具并内联脚本内容 - 除非用户请求，否则不要保存到文件 3. **报告提交** 包含作业 ID、监控 URL 和预计时间 4. **等待用户**请求状态检查 - 不自动轮询 ### 基本规则 * **作业在后台运行** \- 提交立即返回；训练独立继续 * **初始日志延迟** \- 可能需要 30-60 秒才能显示日志 * **用户检查状态** \- 等待用户请求状态更新 * **避免轮询** \- 仅根据用户请求检查日志；改为提供监控链接 ### 提交后 **提供给用户：** * ✅ 作业 ID 和监控 URL * ✅ 预计完成时间 * ✅ Trackio 仪表板 URL * ✅ 请注意，用户可以稍后请求状态检查 **响应示例：** ✅ 作业提交成功！职位 ID：abc123xyz 监控：https://huggingface.co/jobs/username/abc123xyz 预计时间：~2小时预计费用：~10 美元该作业正在后台运行。准备好后请我检查状态/日志！ ## 快速入门：三种方法 **💡 演示提示：** 对于较小 GPU（t4-small）上的快速演示，请省略 `eval_dataset` 和 `eval_strategy` 以节省约 40% 的内存。您仍然会看到训练损失和学习进展。 ### 序列长度配置 **TRL 配置类使用“max_length”（而不是“max_seq_length”）**来控制标记化序列长度： # ✅ 正确 - 如果您需要设置序列长度 SFTConfig(max_length=512) # 将序列截断为 512 个标记 DPOConfig(max_length=2048) # 更长的上下文（2048 个标记） # ❌错误 - 该参数不存在 SFTConfig(max_seq_length=512) # 类型错误！ **默认行为：** `max_length=1024`（从右侧截断）。这对于大多数训练都很有效。 **何时覆盖：** * **更长的上下文**：设置更高（例如，`max_length=2048`） * **内存限制**：设置较低（例如，`max_length=512`） * **视觉模型** ：设置 `max_length=None` （防止切割图像标记） **通常您根本不需要设置此参数** \- 下面的示例使用合理的默认值。 ### 方法 1：UV 脚本（推荐 - 默认选择） UV 脚本使用 PEP 723 内联依赖项进行干净、独立的训练。 **这是 Claude Code 的主要方法。** hf_jobs(“紫外线”，{ “脚本”：“”” # /// 脚本 # 依赖项 = ["trl>=0.12.0", "peft>=0.7.0", "trackio"] # /// 从数据集导入load_dataset 从 peft 导入 LoraConfig 从 trl 导入 SFTTrainer、SFTConfig 导入轨迹数据集 = load_dataset("trl-lib/Capybara", split="train") # 创建训练/评估分割以进行监控 dataset_split = dataset.train_test_split(test_size=0.1,seed=42) 训练师 = SFTTrainer( 型号=“Qwen/Qwen2.5-0.5B”， train_dataset=dataset_split["火车"], eval_dataset=dataset_split["测试"], peft_config=LoraConfig(r=16, lora_alpha=32), 参数=SFTConfig( 输出目录=“我的模型”， Push_to_hub=真， hub_model_id="用户名/我的模型", num_train_epochs=3, eval_strategy =“步骤”，评估步骤=50，报告_to =“trackio”， project="meaningful_prject_name", # 项目名称为训练名称(trackio) run_name="meaningful_run_name", # 特定训练运行的描述性名称 (trackio) ））训练师.train() trainer.push_to_hub() """, "味道": "a10g-大", “超时”：“2小时”， “秘密”：{“HF_TOKEN”：“$HF_TOKEN”} }) **优点：**直接使用 MCP 工具、干净的代码、内联声明的依赖项 (PEP 723)、无需保存文件、完全控制 **何时使用：** Claude 代码中所有训练任务的默认选择、自定义训练逻辑、任何需要 `hf_jobs()` 的场景 #### 使用脚本 ⚠️ **重要：** `script` 参数接受内联代码（如上所示）或 URL。 **本地文件路径不起作用。** **为什么本地路径不起作用：** 作业在隔离的 Docker 容器中运行，无法访问本地文件系统。脚本必须是： * 内联代码（推荐用于自定义培训） * 可公开访问的 URL * 私有仓库 URL（带有 HF_TOKEN） **常见错误：** # ❌ 这些都会失败 hf_jobs("uv", {"script": "train.py"}) hf_jobs("uv", {"script": "./scripts/train.py"}) hf_jobs("uv", {"script": "/path/to/train.py"}) **正确的做法：** # ✅ 内联代码（推荐） hf_jobs("uv", {"script": "# /// script\n# dependency = [...]\n# ///\n\n<您的代码>"}) # ✅ 来自 Hugging Face Hub hf_jobs("uv", {"script": "https://huggingface.co/user/repo/resolve/main/train.py"}) # ✅ 来自 GitHub hf_jobs("uv", {"script": "https://raw.githubusercontent.com/user/repo/main/train.py"}) # ✅ 来自要点 hf_jobs("uv", {"script": "https://gist.githubusercontent.com/user/id/raw/train.py"}) **使用本地脚本：** 首先上传到 HF Hub： Huggingface-cli 存储库创建 my-training-scripts --type 模型 Huggingface-cli 上传 my-training-scripts ./train.py train.py # 使用：https://huggingface.co/USERNAME/my-training-scripts/resolve/main/train.py ### 方法 2：TRL 维护的脚本（官方示例） TRL 为所有方法提供经过实战检验的脚本。可以从 URL 运行： hf_jobs(“紫外线”，{ “脚本”：“https://raw.githubusercontent.com/huggingface/trl/main/trl/scripts/sft.py”， “脚本参数”：[ "--model_name_or_path", "Qwen/Qwen2.5-0.5B", “--dataset_name”，“trl-lib/Capybara”， “--output_dir”，“我的模型”， “--push_to_hub”， “--hub_model_id”，“用户名/我的模型” ], "味道": "a10g-大", “超时”：“2小时”， “秘密”：{“HF_TOKEN”：“$HF_TOKEN”} }) **优点：**无需编写代码，由 TRL 团队维护，经过生产测试 **何时使用：** 标准 TRL 训练，快速实验，不需要自定义代码 **可用：** 脚本可从获取 ### 在 Hub 上查找更多 UV 脚本 `uv-scripts` 组织提供了即用型 UV 脚本，这些脚本作为数据集存储在 Hugging Face Hub 上： # 发现可用的 UV 脚本集合 dataset_search({"author": "uv-scripts", "sort": "下载", "limit": 20}) # 探索特定集合 hub_repo_details(["uv-scripts/classification"], repo_type="dataset", include_readme=True) **热门集合：** ocr、分类、合成数据、vllm、数据集创建 ### 方法 3：HF Jobs CLI（直接终端命令）当“hf_jobs()”MCP工具不可用时，直接使用“hf jobs”CLI。 **⚠️ 关键：CLI 语法规则** # ✅ 正确的语法 - 脚本 URL 之前的标记 hf jobs uv run --flavor a10g-large --timeout 2h --secrets HF_TOKEN“https://example.com/train.py” # ❌ 错误 - “运行 uv”而不是“uv 运行” hf 作业运行 uv "https://example.com/train.py" --flavor a10g-large # ❌ 错误 - 脚本 URL 之后的标志（将被忽略！） hf jobs uv run "https://example.com/train.py" --flavor a10g-large # ❌ 错误 - “--secret”而不是“--secrets”（复数） hf jobs uv run --secret HF_TOKEN "https://example.com/train.py" **关键语法规则：** 1. 命令顺序是“hf jobs uv run”（不是“hf jobs run uv”） 2. 所有标志（`--flavor`、`--timeout`、`--secrets`）必须出现在脚本 URL 之前 3.使用“--secrets”（复数），而不是“--secret” 4. 脚本 URL 必须是最后一个位置参数 **完整的 CLI 示例：** hf 作业 uv 运行 \ --口味a10g-大\ --超时2小时\ --秘密 HF_TOKEN \ “https://huggingface.co/user/repo/resolve/main/train.py” **通过 CLI 检查作业状态：** hf jobs ps # 列出所有作业 hf jobs logs # 查看日志 hf jobs Inspection # 作业详细信息 hf jobs cancel # 取消作业 ### 方法 4：TRL 工作包（简化培训） `trl-jobs` 包提供了优化的默认值和单行训练。 # 安装 pip 安装 trl-jobs # 使用 SFT 进行训练（尽可能简单） trl 工作 sft \ --model_name Qwen/Qwen2.5-0.5B \ --dataset_name trl-lib/水豚 **优点：**预配置设置、自动 Trackio 集成、自动 Hub 推送、一行命令 **何时使用：**用户直接在终端中工作（不是 Claude 代码上下文），快速本地实验 **存储库：** ⚠️ **在 Claude Code 上下文中，更喜欢使用`hf_jobs()` MCP 工具（方法 1）（如果可用）。** ## 硬件选择型号尺寸|推荐硬件 |成本（约/小时）|使用案例 ---|---|---|--- <1B 参数 | `t4-小号` | ~$0.75 |演示，仅快速测试，无需评估步骤 1-3B 参数 | `t4-medium`、`l4x1` | ~$1.50-2.50 |发展 3-7B 参数 | `a10g-小号`、`a10g-大号` | ~$3.50-5.00 |生产培训 7-13B 参数 | `a10g-large`、`a100-large` | ~$5-10 |大型模型（使用LoRA） 13B+ 参数 | `a100-large`、`a10g-largex2` | ~$10-20 |非常大（使用LoRA） **GPU 口味：** cpu-基本/升级/性能/xl、t4-小/中、l4x1/x4、a10g-小/大/大x2/大x4、a100-大、h100/h100x8 **指南：** * 对于 >7B 的模型使用 **LoRA/PEFT** 以减少内存 * TRL/Accelerate 自动处理多 GPU * 从较小的硬件开始进行测试 **请参阅：** `references/hardware_guide.md` 了解详细规格 ## 关键：将结果保存到 Hub **⚠️ 短暂的环境——必须推送到中心** 工作环境是暂时的。作业结束时所有文件都将被删除。如果模型没有推送到 Hub，**所有训练都会丢失**。 ### 所需配置 **在训练脚本/配置中：** SFT配置（ Push_to_hub=真， hub_model_id="用户名/模型名称", # 必须指定 hub_strategy="every_save", # 可选：推送检查点） **在作业提交中：** { "secrets": {"HF_TOKEN": "$HF_TOKEN"} # 启用身份验证 } ### 验证清单提交前： * 在配置中设置 `push_to_hub=True` * `hub_model_id` 包括用户名/仓库名称 * `secrets` 参数包含 HF_TOKEN * 用户对目标仓库有写权限 **请参阅：** `references/hub_ saving.md` 以获取详细的故障排除信息 ## 超时管理 **⚠️ 默认：30 分钟——对于训练来说太短了** ### 设置超时 { "timeout": "2h" # 2 小时（格式："90m"、"2h"、"1.5h" 或整数秒） } ### 超时指南场景 |推荐|注释 ---|---|--- 快速演示（50-100 个示例）| 10-30 分钟 |验证设置拓展训练| 1-2小时|小数据集生产（3-7B型号）| 4-6 小时 |完整数据集带 LoRA 的大型模型 | 3-6 小时 |取决于数据集 **始终为模型/数据集加载、检查点保存、集线器推送操作和网络延迟添加 20-30% 的缓冲区**。 **超时时：** 作业立即终止，所有未保存的进度都丢失，必须从头开始 ## 成本估算 **在使用已知参数规划作业时提供估算成本。** 使用 `scripts/estimate_cost.py`： python 脚本/estimate_cost.py \ --模型元美洲驼/美洲驼-2-7b-hf \ --数据集 trl-lib/水豚 \ --硬件a10g-大\ --数据集大小 16000 \ --纪元3 输出包括估计时间、成本、建议超时（带缓冲区）和优化建议。 **何时提供：** 用户规划作业，询问成本/时间，选择硬件，作业将运行 >1 小时或成本 >5 美元 ## 训练脚本示例 **具有所有最佳实践的生产就绪模板：** 正确加载这些脚本： * **`scripts/train_sft_example.py`** \- 使用 Trackio、LoRA、检查点完成 SFT 训练 * **`scripts/train_dpo_example.py`** \- 用于偏好学习的 DPO 培训 * **`scripts/train_grpo_example.py`** \- 在线 RL 的 GRPO 训练这些脚本演示了正确的集线器保存、Trackio 集成、检查点管理和优化参数。将其内容内联传递给“hf_jobs()”或用作自定义脚本的模板。 ## 监控与追踪 **Trackio** 提供实时指标可视化。请参阅“references/trackio_guide.md”以获取完整的设置指南。 **要点：** * 将 `trackio` 添加到依赖项中 * 使用 `report_to="trackio" 和 run_name="meaningful_name"` 配置训练器 ### Trackio 配置默认值 **除非用户另有指定，否则使用合理的默认值。**使用 Trackio 生成训练脚本时： **默认配置：** * **空间 ID** : `{username}/trackio` （使用“trackio”作为默认空间名称） * **运行命名**：除非另有说明，否则以用户能够识别的方式命名运行（例如，任务、模型或目的的描述） * **配置**：保持最小 - 仅包含超参数和模型/数据集信息 * **项目名称** ：使用项目名称将运行与特定项目相关联 **用户覆盖：** 如果用户请求特定的 trackio 配置（自定义空间、运行命名、分组或其他配置），请应用他们的首选项而不是默认值。这对于管理具有相同配置的多个作业或保持训练脚本的可移植性非常有用。请参阅“references/trackio_guide.md”以获取完整的文档，包括实验的分组运行。 ### 检查工作状态 # 列出所有作业 hf_jobs(“ps”) # 检查具体作业 hf_jobs("检查", {"job_id": "你的工作 ID"}) # 查看日志 hf_jobs("logs", {"job_id": "your-job-id"}) **记住：**等待用户请求状态检查。避免重复轮询。 ## 数据集验证 **启动 GPU 训练之前验证数据集格式，以防止训练失败的第一个原因：格式不匹配。** ### 为什么要验证 * 50% 以上的训练失败是由于数据集格式问题造成的 * DPO 特别严格：需要精确的列名称（`prompt`、`chosen`、`rejected`） * 失败的 GPU 作业会浪费 1-10 美元和 30-60 分钟 * CPU 验证成本约为 0.01 美元，耗时 <1 分钟 ### 何时验证 **始终验证：** * 未知或自定义数据集 * DPO 培训（至关重要 - 90% 的数据集需要映射） * 任何不明确 TRL 兼容的数据集 **跳过已知 TRL 数据集的验证：** * `trl-lib/ultrachat_200k`、`trl-lib/Capybara`、`HuggingFaceH4/ultrachat_200k` 等 ### 用法 hf_jobs(“紫外线”，{ “脚本”：“https://huggingface.co/datasets/mcp-tools/skills/raw/main/dataset_inspector.py”， "script_args": ["--dataset", "用户名/数据集名称", "--split", "train"] }) 该脚本速度很快，通常会同步完成。 ### 阅读结果输出显示了每种训练方法的兼容性： * **`✓ READY`** \- 数据集兼容，直接使用 * **`✗需要映射`** \- 兼容但需要预处理（提供映射代码） * **`✗ 不兼容`** \- 不能用于此方法当需要映射时，输出包括 **“映射代码”** 部分，其中包含复制粘贴就绪的 Python 代码。 ### 示例工作流程 # 1. 检查数据集（成本约为 0.01 美元，CPU 占用 <1 分钟） hf_jobs(“紫外线”，{ “脚本”：“https://huggingface.co/datasets/mcp-tools/skills/raw/main/dataset_inspector.py”， “script_args”：[“--dataset”，“argilla/distilabel-math-preference-dpo”，“--split”，“train”] }) # 2.检查输出标记： # ✓ 准备→继续训练 # ✗ 需要映射 → 应用下面的映射代码 # ✗ 不兼容 → 选择不同的方法/数据集 # 3. 如果需要映射，请在训练前应用： def format_for_dpo（示例）：返回{ '提示': 示例['指令'], '选择'：示例['chosen_response']， '拒绝'：示例['rejected_response']， } 数据集= dataset.map(format_for_dpo,remove_columns=dataset.column_names) # 4. 放心地启动训练工作 ### 常见场景：DPO 格式不匹配大多数 DPO 数据集使用非标准列名称。示例：数据集有：指令、选择的响应、拒绝的响应 DPO 期望：提示、选择、拒绝验证器会检测到这一点并提供精确的映射代码来修复它。 ## 将模型转换为 GGUF 训练后，将模型转换为 **GGUF 格式**，以便与 llama.cpp、Ollama、LM Studio 和其他本地推理工具一起使用。 **什么是 GGUF：** * 使用 llama.cpp 针对 CPU/GPU 推理进行优化 * 支持量化（4位、5位、8位）以减小模型大小 * 兼容 Ollama、LM Studio、Jan、GPT4All、llama.cpp * 7B 型号通常为 2-8GB（相对于未量化的 14GB） **何时转换：** * 使用 Ollama 或 LM Studio 在本地运行模型 * 通过量化减少模型大小 * 部署到边缘设备 * 共享模型供本地优先使用 **请参阅：** `references/gguf_conversion.md` 以获取完整的转换指南，包括生产就绪的转换脚本、量化选项、硬件要求、使用示例和故障排除。 **快速转换：** hf_jobs(“紫外线”，{ "script": "<完整脚本请参见references/gguf_conversion.md>", "味道": "a10g-大", “超时”：“45m”， “秘密”：{“HF_TOKEN”：“$HF_TOKEN”}， “环境”：{ "ADAPTER_MODEL": "用户名/我的微调模型", "BASE_MODEL": "Qwen/Qwen2.5-0.5B", "OUTPUT_REPO": "用户名/我的模型-gguf" } }) ## 常见训练模式有关详细示例，请参阅“references/training_patterns.md”，包括： * 快速演示（5-10 分钟） * 带有检查点的生产 * 多GPU训练 * DPO培训（优先学习） * GRPO培训（在线强化学习） ## 常见故障模式 ### 内存不足 (OOM) **修复（按顺序尝试）：** 1. 减少批量大小：`per_device_train_batch_size=1`，增加`gradient_accumulation_steps=8`。有效批量大小为“per_device_train_batch_size” x “gradient_accumulation_steps”。为了获得最佳性能，请保持有效批量大小接近 128。 2.启用：`gradient_checkpointing=True` 3. 升级硬件：t4-small → l4x1、a10g-small → a10g-large 等。 ### 数据集格式错误 **修复：** 1. 首先使用数据集检查器进行验证： uv运行https://huggingface.co/datasets/mcp-tools/skills/raw/main/dataset_inspector.py \ --数据集名称 --分割列车 2. 检查输出中的兼容性标记（✓ 就绪、✗ 需要映射、✗ 不兼容） 3. 如果需要，应用检查器输出中的映射代码 ### 作业超时 **修复：** 1. 检查日志以了解实际运行时间： `hf_jobs("logs", {"job_id": "..."})` 2. 使用缓冲区增加超时：`"timeout": "3h"`（估计时间增加 30%） 3.或者减少训练：降低`num_train_epochs`，使用较小的数据集，启用`max_steps` 4. 保存检查点： `save_strategy="steps"`、`save_steps=500`、`hub_strategy="every_save"` **注意：** 默认 30 分钟对于实际训练来说是不够的。最少1-2小时。 ### 集线器推送失败 **修复：** 1. 添加到作业：`secrets={"HF_TOKEN": "$HF_TOKEN"}` 2. 添加到配置： `push_to_hub=True`, `hub_model_id="username/model-name"` 3. 验证身份验证：`mcp__huggingface__hf_whoami()` 4. 检查令牌是否具有写入权限并且存储库是否存在（或设置 `hub_private_repo=True`） ### 缺少依赖项 **修复：** 添加到 PEP 723 标头： # /// 脚本 # 依赖项 = ["trl>=0.12.0", "peft>=0.7.0", "trackio", "missing-package"] # /// ## 故障排除 **常见问题：** * 作业超时 → 增加超时，减少 epochs/数据集，使用较小的模型/LoRA * 模型未保存到 Hub → 检查 Push_to_hub=True, hub_model_id, Secrets=HF_TOKEN * 内存不足（OOM）→减少批量大小，增加梯度累积，启用LoRA，使用更大的GPU * 数据集格式错误 → 使用数据集检查器进行验证（请参阅数据集验证部分） * 导入/模块错误 → 添加带有依赖项的 PEP 723 标头，验证格式 * 身份验证错误 → 检查 `mcp__huggingface__hf_whoami()`、令牌权限、secrets 参数 **请参阅：** `references/troubleshooting.md` 以获取完整的故障排除指南 ## 资源 ### 参考资料（在本技能中） * `references/training_methods.md` \- SFT、DPO、GRPO、KTO、PPO、奖励建模概述 * `references/training_patterns.md` \- 常见训练模式和示例 * `references/gguf_conversion.md` \- 完整的 GGUF 转换指南 * `references/trackio_guide.md` \- Trackio 监控设置 * `references/hardware_guide.md` \- 硬件规格和选择 * `references/hub_ saving.md` \- 集线器身份验证故障排除 * `references/troubleshooting.md` \- 常见问题及解决方案 ### 脚本（在此技能中） * `scripts/train_sft_example.py` \- 生产 SFT 模板 * `scripts/train_dpo_example.py` \- 生产 DPO 模板 * `scripts/train_grpo_example.py` \- 生产 GRPO 模板 * `scripts/estimate_cost.py` \- 估计时间和成本（在适当的时候提供） * `scripts/convert_to_gguf.py` \- 完整的GGUF转换脚本 ### 外部脚本 * [Dataset Inspector]() \- 在训练前验证数据集格式（通过 `uv run` 或 `hf_jobs` 使用） ### 外部链接 * [TRL 文档]() * [TRL 工作培训指南]() * [TRL 工作包]() * [HF 工作文档]() * [TRL 示例脚本]() * [UV 脚本指南]() * [UV 脚本组织]() ## 要点 1. **内联提交脚本** \- `script` 参数直接接受Python代码；除非用户请求，否则不需要保存文件 2. **作业是异步的** \- 不要等待/轮询；让用户检查是否准备好 3. **始终设置超时** \- 默认 30 分钟不够；建议至少 1-2 小时 4. **始终启用集线器推送** \- 环境是短暂的；没有推动，所有结果都会丢失 5. **包含 Trackio** \- 使用示例脚本作为实时监控的模板 6. **提供成本估算** \- 当参数已知时，使用 `scripts/estimate_cost.py` 7. **使用 UV 脚本（方法 1）** \- 默认为带有内联脚本的 `hf_jobs("uv", {...})`； TRL 维护标准培训脚本；避免在 Claude 代码中使用 bash `trl-jobs` 命令 8. **使用 hf_doc_fetch/hf_doc_search** 获取最新的 TRL 文档 9. **在使用数据集检查器进行训练之前验证数据集格式**（请参阅数据集验证部分） 10. **根据模型尺寸选择合适的硬件**；对于 >7B 的型号使用 LoRA

抱脸模型训练师

包含技能