#Megatron-Core - 大规模法学硕士培训 ## 快速开始 Megatron-Core 通过先进的并行策略在 H100 GPU 上训练从 2B 到 462B 参数的 LLM，模型 FLOP 利用率高达 47%。 **安装**： # Docker（推荐） docker run --gpus all -it --rm nvcr.io/nvidia/pytorch:25.04-py3 # 或点 pip 安装 megatron-core **简单的分布式训练**： # 使用数据并行性使用 2 个 GPU 进行训练 torchrun --nproc_per_node=2 个示例/run_simple_mcore_train_loop.py # 或者 LLaMA-3 8B 训练 ./examples/llama/train_llama3_8b_fp8.sh ## 常用工作流程 ### 工作流程 1：训练具有 3D 并行性的 LLaMA 风格模型复制此清单： LLaMA 训练设置： - [ ] 步骤 1：选择并行度配置 - [ ] 步骤2：配置训练超参数 - [ ] 步骤3：启动分布式训练 - [ ] 步骤 4：监控性能指标 **第 1 步：选择并行度配置** 模型大小决定并行策略：型号尺寸| GPU |张量并行 |管道并行|数据并行 |上下文并行 ---|---|---|---|---|--- 7B| 8 | 1 | 1 | 8 | 1 13B | 13B 8 | 2 | 1 | 4 | 1 70B | 70B 64 | 64 4 | 4 | 4 | 1 405B | 405B 128 | 128 8 | 8 | 2 | 2 **步骤2：配置训练超参数** #!/bin/bash #train_llama_70b.sh GPUS_PER_NODE=8 NNODES=8 # 总共 64 个 GPU TP=4 # 张量并行 PP=4 # 管道并行 CP=1 # 上下文并行 # LLaMA 70B 配置 MODEL_SIZE=70 # 十亿个参数隐藏_大小=8192 NUM_LAYERS=80 NUM_HEADS=64 SEQ_LENGTH=4096 # 训练超参数微批次=1 GLOBAL_BATCH=1024 LR=3e-4 火炬奔跑\ --nproc_per_node=$GPUS_PER_NODE \ --nnodes=$NNODES \ pretrain_gpt.py \ --张量模型并行大小 $TP \ --管道模型并行大小 $PP \ --context-parallel-size $CP \ --序列并行 \ --num-layers $NUM_LAYERS \ --隐藏大小 $HIDDEN_SIZE \ --num-attention-heads $NUM_HEADS \ --seq-length $SEQ_LENGTH \ --最大位置嵌入 $SEQ_LENGTH \ --微批量大小 $MICRO_BATCH \ --global-batch-size $GLOBAL_BATCH \ --lr $LR \ --train-iters 100000 \ --lr-衰减式余弦 \ --lr-warmup-iters 2000 \ --权重衰减0.1 \ --clip-grad 1.0 \ --bf16 \ --use-mcore-models \ --transformer-impl Transformer_engine \ --数据路径/路径/到/数据\ --vocab-文件 /path/to/vocab.json \ --合并文件/path/to/merges.txt **第3步：启动分布式训练** # 单节点（8 个 GPU） bash train_llama_70b.sh # 使用 SLURM 的多节点 sbatch --nodes=8 --gpus-per-node=8 train_llama_70b.sh **第 4 步：监控性能指标** 要跟踪的关键指标：模型 FLOP 利用率 (MFU)：H100 上的目标 >40% 吞吐量：令牌/秒/GPU 内存使用量：70B 型号每个 GPU <80GB 损失：应稳步下降 ### 工作流程 2：配置专家混合 (MoE) 培训对于像 Mixtral 这样的稀疏 MoE 模型。教育部培训： - [ ] 步骤 1：配置专家并行度 - [ ] 步骤2：设置MoE超参数 - [ ] 步骤 3：使用 EP 启动培训 **第 1 步：配置专家并行性** # 混合 8x7B 示例张量_并行=2 PIPELINE_PARALLEL=1 EXPERT_PARALLEL=4 # 将 8 个专家分配到 4 个 GPU 数据并行=4 TOTAL_GPUS=$((TENSOR_PARALLEL * PIPELINE_PARALLEL * EXPERT_PARALLEL * DATA_PARALLEL)) # = 2 * 1 * 4 * 4 = 32 个 GPU **步骤 2：设置 MoE 超参数** 火炬奔跑\ --nproc_per_node=8 \ pretrain_gpt.py \ --张量模型并行大小 2 \ --管道模型并行大小 1 \ --专家模型并行大小 4 \ --num-专家 8 \ --moe-路由器-topk 2 \ --moe-路由器负载平衡类型 aux_loss \ --moe-aux-loss-coeff 0.01 \ --隐藏大小 4096 \ --层数 32 \ --num-attention-heads 32 \ --seq-长度 4096 \ --最大位置嵌入 4096 \ --bf16 \ --use-mcore-models \ --transformer-impl Transformer_engine \ --数据路径/路径/到/数据\ --vocab-文件 /path/to/vocab.json \ --合并文件/path/to/merges.txt **第 3 步：启动 EP 培训** 专家并行性将不同的专家分布在 GPU 上，从而在保持容量的同时减少内存。不含 EP 的内存：8 个专家 × 7B = 每个 GPU 56GB EP=4 的内存：2 个专家 × 7B = 每个 GPU 14GB 节省：内存减少 75% ### 工作流程 3：优化以获得最大吞吐量在 H100 上实现 47% MFU。性能优化： - [ ] 步骤 1：启用 Flash Attention - [ ] 步骤 2：使用 FP8 精度 (H100) - [ ] 步骤 3：优化微批量大小 - [ ] 步骤 4：调整并行度 **第 1 步：启用优化** --use-mcore-models # 使用威震天核心模型 --transformer-impl Transformer_engine # 使用 Transformer 引擎 --sequence-parallel # 减少激活内存（与 TP 一起使用） **步骤 2：使用 FP8 精度（仅限 H100）** --fp8-hybrid # FP8混合精度训练 # Transformer Engine 自动处理 FP8 结果：H100 与 BF16 相比加速 1.5-2 倍。 **步骤 3：优化微批量大小** 找到适合内存的最大微批次： # 从1开始，增加直到OOM 对于 1 2 4 8 中的 MBS；做 echo“测试微批量大小=$MBS” torchrun ... --微批量大小 $MBS 完成典型值： * 7B型号：4-8 * 70B型号：1-2 * 405B型号：1个 **第4步：调整平行度** 经验法则： Tensor Parallel：使用≤8（受节点内NVLink限制）管道并行：用于 >70B 型号上下文并行：用于>8K token 的序列数据并行：填充剩余 GPU 128 H100 上的 405B 示例： TP=8（1个节点） PP=8（跨节点） CP=2（长序列） DP=1 总计 = 8 × 8 × 2 × 1 = 128 个 GPU ## 何时使用与替代方案 **在以下情况下使用威震天核心：** * 训练模型>10B参数 * 需要最大效率（目标 >40% MFU） * 使用 NVIDIA GPU（A100、H100） * 大规模生产培训 * 想要细粒度的并行控制 **使用替代方案：** * **PyTorch FSDP** ：模型 <70B，更简单的 API，PyTorch 原生 * **DeepSpeed** ：设置更简单，适用于 <100B 型号 * **HuggingFace Accelerate**：原型设计，更简单的工作流程 * **LitGPT** ：教育性单文件实现 ## 常见问题 **问题：GPU 利用率低（<30% MFU）** 原因： 1. 微批量太小 2. 并行开销太大 3.不使用Flash Attention 修复： # 增加微批次 --micro-batch-size 4 # 为 1 # 启用优化 --使用 flash-attn --序列并行 # 如果>8则减少TP --tensor-model-parallel-size 4 # 为 16 **问题：内存不足** 减少内存： --tensor-model-parallel-size 2 # 跨 GPU 分割模型 --recompute-grainarity full # 梯度检查点 --recompute-method block # 检查点转换器块 --recompute-num-layers 1 # 每层检查点或者使用 CPU/NVMe 卸载： --cpu-optimizer # 将优化器卸载到 CPU --cpu-optimizer-type ADAM # CPU Adam 变体 **问题：训练速度比预期慢** 检查： 1. **网络瓶颈**：确保启用InfiniBand/NVLink 2. **管道气泡**：使用交错管道调度 --每个虚拟管道阶段 2 的层数 3. **数据加载**：使用快速数据加载器 --dataloader类型循环 **问题：分歧损失** 稳定训练： --lr-warmup-iters 2000 # 更长的预热时间 --clip-grad 1.0 # 梯度裁剪 --init-method-std 0.006 # 较小的 init --attention-dropout 0.0 # 注意中没有 dropout --hidden-dropout 0.0 # FFN 中没有 dropout ## 高级主题 **并行策略**：请参阅 [references/parallelism-guide.md]()，了解 TP/PP/DP/CP/EP 与性能分析的详细比较以及何时使用每种策略。 **性能基准**：请参阅 [references/benchmarks.md]() 了解不同模型大小和 GPU 配置的 MFU 数字。 **生产配置** ：有关 LLaMA 3 405B、Nemotron-4 340B 和 DeepSeek-V3 的实际设置，请参阅 [references/production-examples.md]() 671B。 **训练食谱**：请参阅 [references/training-recipes.md]() 了解 GPT/LLaMA/Mixtral 架构的完整超参数配置。 ## 硬件要求 * **GPU**：NVIDIA Ampere+（A100、H100、B200） * 图灵可以工作，但速度较慢 * FP8 需要 Hopper/Ada/Blackwell * **网络**：用于多节点的 InfiniBand 或 400Gb+ 以太网 * **每个 GPU 的内存** : * 7B型号：40GB+ * 70B型号：80GB（TP=4） * 405B型号：80GB（TP=8，PP=8） * **存储**：用于检查点的快速 NVMe（70B+ 型号为 1TB+） ## 资源 * 文档： * GitHub： * 论文： *“Megatron-LM：使用模型并行性训练数十亿参数语言模型”（2019） *“使用 Megatron-LM 在 GPU 集群上进行高效的大规模语言模型训练”(2021) * NeMo 框架：（基于 Megatron-Core 构建）

训练 Llms 威震天

包含技能