# Slurm 集群管理帮助开发人员提交、管理 SRP 的 Slurm 集群上的 GPU 加速工作负载并对其进行故障排除。支持使用 Apptainer 容器进行训练、推理和数据处理作业。 ## 何时使用此技能在以下情况下使用此技能： * 向 Slurm 集群提交 GPU 训练或推理作业 * 管理正在运行或排队的作业 * 监控集群资源和作业状态 * 调试作业失败或性能问题 * 使用 Apptainer 容器编写 Slurm 作业脚本 * 检查GPU可用性和利用率 ## SRP Slurm 集群 ### Oracle OKE 集群（H100 GPU） **SSH 访问：** ssh -p 2222 <您的 ldap 用户名>@129.80.180.16 # 示例： ssh -p 2222 zhuguangbin@129.80.180.16 **GPU类型：** H100 **分区：** `h100`（必须在作业脚本中指定） **用例：** 大型模型训练，高性能推理 ### DO DOKS 集群（H200 GPU） **SSH 访问：** ssh -p 2222 <您的 ldap 用户名>@129.212.240.50 # 示例： ssh -p 2222 zhuguangbin@129.212.240.50 **GPU 类型：** H200 **分区：** 在作业脚本中指定 **用例：** 最新 GPU 工作负载、大规模训练 ### 数据访问两个集群都使用 **JuiceFS** 进行统一数据访问： * 路径：`/data0/` 或 `/data/srp/` * 与开发机相同的权限和目录结构 * 在所有集群节点和 A10 开发机器之间共享 ### 监控 **Oracle OKE 集群仪表板：** *集群概述： * 工作负载监控： * 职位级别统计数据： **DO DOKS 集群仪表板：** *集群概述： * 工作负载监控： * 职位级别统计数据： **可用指标：** * 集群资源利用率 * GPU 可用性和使用情况 * 作业队列状态 * 每个作业的资源消耗 * 历史工作负载模式 ## 基本 Slurm 命令 ### 作业提交 # 提交批处理作业脚本 sbatch job_script.sh # 使用 ssubmit 包装器提交（推荐） ssubmit -j 作业名称 -p h100 -g 1 -c 10 -m 32G -t 2:00:00 -cmd "python train.py" # 交互式作业分配 salloc --partition=h100 --gres=gpu:1 --time=01:00:00 # 直接运行命令 srun --partition=h100 --gres=gpu:1 python test.py ### 工作管理 # 查看您的职位 squeue -u $USER # 查看所有职位排队 # 查看具体作业详情 scontrol 显示作业 # 取消作业 scancel <作业 ID> # 取消你所有的工作 scancel -u $USER # 按名称取消作业 scancel --name=作业名称 ### 集群信息 # 查看分区和节点中信信息 # 查看详细的节点信息正信息-N-l # 检查 GPU 可用性 sinfo -o "%20N %10c %10m %25f %10G" # 查看具体分区 sinfo-p h100 ### 工作经历 # 查看已完成的作业囊 # 查看具体作业详情 sacct -j --format=JobID,JobName,分区,AllocCPUS,状态,退出代码 # 查看上周的职位 sacct --starttime=now-7days --format=JobID,JobName,Elapsed,State,ExitCode ## 作业脚本结构 ### 现代 Slurm 脚本（简化）新的 Slinky Slurm 集群使用 **prolog/epilog** 进行通知，因此脚本更加简单： #!/bin/bash #SBATCH --output=logs/%x_%j.out #SBATCH --error=logs/%x_%j.err #SBATCH --作业名称=我的训练作业 #SBATCH --partition=h100 #SBATCH --gres=gpu:H100:1 #SBATCH --节点=1 #SBATCH --每个任务的CPU数=10 #SBATCH --mem=32GB #SBATCH --时间=02:00:00 #SBATCH --邮件类型=全部 #SBATCH --mail-user=slurm-notification@srp.one 设置-x #================================ # 环境设置 #================================ 导出 MASTER_ADDR=$(scontrol 显示主机名 $SLURM_JOB_NODELIST | head -n 1) 导出 MASTER_PORT=$(shuf -i 1000-65535 -n 1) 导出日志级别=信息导出 NCCL_DEBUG=信息导出 PYTHONFAULTHANDLER=1 # 设置您的令牌（替换为实际值）导出 HF_TOKEN=your_huggingface_token_here 导出 WANDB_API_KEY=your_wandb_api_key_here 导出 WANDB_PROJECT=${SLURM_JOB_NAME} 导出 WANDB_NAME=${SLURM_JOB_NAME}-$(日期 +%Y%m%d%H%M%S) #================================ # 任务前初始化 #================================ echo“正在运行任务前初始化...” # 这里是你的设置命令 #================================ # 主要工作执行 #================================ echo“开始主线任务……” srun -v -l --jobid $SLURM_JOBID --job-name=${SLURM_JOB_NAME} \ --输出 $SLURM_SUBMIT_DIR/logs/%x_%j_%s_%t_%N.out \ --错误 $SLURM_SUBMIT_DIR/logs/%x_%j_%s_%t_%N.err \ apptainer 运行 --fakeroot --writable-tmpfs --nv \ /data0/apptainer/pytorch_24.01-py3.sif bash -ex << 'EOF' # ==== 您的作业命令开始 ==== echo“培训于$（日期）开始” 蟒蛇火车.py \ --型号 gpt2 \ --批量大小 32 \ --纪元 10 \ --输出目录/data0/models/ 英伟达-SMI echo“培训于$（日期）完成” # ==== 您的作业命令结束 ==== EOF ### 关键 SBATCH 参数参数|描述 |示例 ---|---|--- `--工作名称` |作业名称（显示在 squeue 中）| `我的训练` `--分区` |集群分区 | `h100` `--gres` | GPU资源| `gpu:H100:1` (1 个 GPU)`gpu:H100:2` (2 个 GPU) `--节点` |节点数量| `1`（单节点）`2`（分布式） `--每个任务的 cpus` |每个任务的 CPU 数 | `10` `--mem` |每个节点的内存 | `32GB` `--时间` |最大运行时间| `02:00:00`（2 小时） `--输出` |标准输出日志文件 | `logs/%x_%j.out` `--错误` |标准错误日志文件 | `日志/%x_%j.err` `--邮件类型` |邮件通知 | `全部`、`失败`、`结束` **日志文件占位符：** * `%x` \- 作业名称 * `%j` \- 作业 ID * `%s` \- 步骤 ID * `%t` \- 任务 ID * `%N` \- 节点名称 ### 多节点分布式训练 #!/bin/bash #SBATCH --job-name=分布式训练 #SBATCH --partition=h100 #SBATCH --节点=2 #SBATCH --gres=gpu:H100:2 #SBATCH --ntasks-per-node=2 #SBATCH --每个任务的CPU数=10 #SBATCH --mem=64GB #SBATCH --时间=04:00:00 设置-x # 分布式训练设置导出 MASTER_ADDR=$(scontrol 显示主机名 $SLURM_JOB_NODELIST | head -n 1) 导出MASTER_PORT=12345 导出 WORLD_SIZE=$((SLURM_NNODES * SLURM_NTASKS_PER_NODE)) srun apptainer 运行 --nv /data0/apptainer/pytorch_24.01-py3.sif \ python -m torch.distributed.launch \ --nproc_per_node=$SLURM_NTASKS_PER_NODE \ --nnodes=$SLURM_NNODES \ --node_rank=$SLURM_NODEID \ --master_addr=$MASTER_ADDR \ --master_port=$MASTER_PORT \ train_distributed.py ## 使用 Apptainer 容器 ### 可用的容器镜像 **位置：** `/data0/apptainer/` **常用图片：** * `pytorch_24.01-py3.sif` \- PyTorch 24.01 与 Python 3 * `ray_2.52.0-py310-gpu.sif` \- Ray 2.52.0 与 Python 3.10 * 为特定项目构建的自定义图像 ### Apptainer 命令模式 # 运行具有 GPU 支持的容器 apptainer运行--nv /data0/apptainer/pytorch_24.01-py3.sif python script.py # 将 shell 放入容器中 apptainer shell --nv /data0/apptainer/pytorch_24.01-py3.sif # 执行单个命令 apptainer exec --nv /data0/apptainer/pytorch_24.01-py3.sif nvidia-smi # 带有附加标志 apptainer run --fakeroot --writable-tmpfs --nv <命令> **通用标志：** * `--nv` \- 启用 NVIDIA GPU 支持 * `--fakeroot` \- 假 root 用户权限（用于安装软件包） * `--writable-tmpfs` \- 创建可写临时文件系统 * `--bind :` \- 挂载附加目录 ### 交互式容器会话 # 使用 Apptainer 启动交互式作业 sapptainer -c 20 -m 200G -g 1 -p h100 -i /data0/apptainer/pytorch_24.01-py3.sif # 参数： # -c：CPU # -m：内存 # -g：GPU # -p：分区 # -i: 容器镜像 ## 使用 ssubmit 包装器 SRP 提供了“ssubmit”包装器来简化作业提交： # 基本用法 ssubmit -j 作业名称 -p h100 -g 1 -c 10 -m 32G -t 2:00:00 \ -cmd“python train.py” # 使用自定义脚本 ssubmit -j my-job -p h100 -g 2 -s job_script.sh # 交互模式 ssubmit -j 交互式 -p h100 -g 1 -i **参数：** * `-j` \- 作业名称 * `-p` \- 分区（h100，计算） * `-g` \- GPU 数量 * `-c` \- CPU 数量 * `-m` \- 内存（例如，32G） * `-t` \- 时间限制 (HH:MM:SS) * `-cmd` \- 运行命令 * `-s` \- 要执行的脚本文件 * `-i` \- 交互模式 **参考：** ## 飞书通知 Slurm 集群通过 prolog/epilog 自动发送作业事件的**飞书通知**： **通知类型：** * ✅ 工作开始了 * ✅ 工作成功完成 * ❌ 作业失败并出现错误代码 * ⏱️作业超时 * 🛑 工作取消 **通知渠道：** `slurm-notification@srp.one` **内含内容：** * 作业ID、名称、分区 * 节点分配 * 开始和结束时间 * 退出状态 * 资源使用总结 * 日志文件位置 **无需操作：** 通知是自动的 - 无需将通知代码添加到脚本中。 ## 最佳实践 ### 资源分配 1. **请求您需要的内容：** * 不要过度请求 CPU/内存 - 它会延迟调度 * 从最少的资源开始，根据需要扩大规模 2. **GPU利用率：** * 使用`nvidia-smi`来验证GPU是否正在使用 * 使用“nvidia-smi dmon”监控 GPU 内存 3. **时间限制：** *设定实际的时间限制（略高于预期） * 超过时间限制的作业将被杀死 4. **分区：** * 始终明确指定分区 * 对于 Oracle 使用 `h100`，对于 DO 使用适当的分区 ### 工作组织 # 按日期整理日志 #SBATCH --output=logs/%Y%m%d/%x_%j.out #SBATCH --error=logs/%Y%m%d/%x_%j.err # 或者按工作名称 #SBATCH --output=logs/%x/%j.out #SBATCH --error=logs/%x/%j.err ### 检查点和恢复 # 定期保存检查点进口火炬导入操作系统 checkpoint_dir =“/data0/检查点” checkpoint_path = os.path.join(checkpoint_dir, f"model_epoch_{epoch}.pt") 火炬.保存({ '纪元'：纪元， 'model_state_dict': model.state_dict(), 'optimizer_state_dict'：optimizer.state_dict(), ‘损失’：损失， }，检查点路径） # 从检查点恢复如果 os.path.exists(checkpoint_path): 检查点 = torch.load(检查点路径) model.load_state_dict(检查点['model_state_dict']) start_epoch = 检查点['epoch'] + 1 ### 错误处理 # 设置 bash 选项以确保安全 set -e # 出错时退出 set -u # 未定义变量出错 set -x # 打印命令（用于调试） set -o pipelinefail # 管道失败时退出 # 添加错误陷阱 trap 'echo "$LINENO 行出错";退出 1' 错误 ## 监控与调试 ### 检查工作状态 # 详细的职位信息 scontrol 显示作业 # 观察作业队列观看 -n 5 squeue -u $USER # 检查作业为何待处理 squeue -j --start ### 查看日志 # 作业运行时的尾部日志 tail -f 日志/job_name_12345.out # 查看最后100行 tail -n 100 条日志/job_name_12345.out # 搜索错误 grep -i 错误日志/job_name_12345.err ### GPU 监控 # 在正在运行的作业容器内英伟达-SMI # 持续监控 Nvidia-Smi dmon # 详细的 GPU 利用率 nvidia-smi --query-gpu=时间戳、名称、utilization.gpu、utilization.内存、内存.used、内存.free --format=csv -l 5 ### 资源使用情况 # 检查工作效率 seff <工作 ID> # 详细核算 sacct -j --format=JobID,JobName,Elapsed,CPUTime,MaxRSS,State ## 常见问题及解决方案问题 |原因 |解决方案 ---|---|--- **工作永远悬而未决** |没有可用资源 |检查“sinfo”以获取可用的 GPU；调整资源请求 **“内存不足”错误** |内存请求不足 |在作业脚本中增加 `--mem` **未检测到 GPU** |缺少 `--gres` 或 `--nv` |将 `--gres=gpu:X` 添加到 sbatch，将 `--nv` 添加到 apptainer **找不到容器** |图片路径错误|验证“/data0/apptainer/”中的路径 **权限被拒绝** |文件权限问题|检查文件所有权和权限 **找不到模块** |缺少 Python 包 |安装在容器中或使用不同的镜像 **NCCL 超时** |分布式训练中的网络问题|检查 NCCL 环境变量，验证节点是否可以通信 **终止作业 (OOM)** |内存超出|减少批量大小或增加`--mem` ## 快速参考 ### 基本命令 # 提交作业 sbatch作业.sh # 检查队列 squeue -u $USER # 职位详情 scontrol 显示作业 # 取消作业 scancel <作业 ID> # 查看日志 tail -f 日志/job_*.out # 集群信息 sinfo-p h100 # 工作历史 sacct --starttime=今天 ### 工作流程示例 #### 1\.快速 GPU 测试 # 提交测试作业 sbatch << 'EOF' #!/bin/bash #SBATCH --job-name=gpu-test #SBATCH --partition=h100 #SBATCH --gres=gpu:1 #SBATCH --时间=00:10:00 #SBATCH --output=test_%j.out srun apptainer exec --nv /data0/apptainer/pytorch_24.01-py3.sif \ 英伟达-SMI EOF #### 2\.带检查点的训练 #!/bin/bash #SBATCH --job-name=training-with-checkpoint #SBATCH --partition=h100 #SBATCH --gres=gpu:H100:1 #SBATCH --时间=04:00:00 #SBATCH --signal=B:USR1@60 检查点处理程序（）{ echo“收到信号，正在保存检查点...” # 向 Python 进程发出信号以保存检查点 pkill -USR1 -f train.py } 陷阱检查点_处理程序USR1 srun apptainer 运行 --nv /data0/apptainer/pytorch_24.01-py3.sif \ 蟒蛇火车.py \ --checkpoint-dir /data0/检查点 \ --如果存在则恢复 #### 3\.批处理 #!/bin/bash #SBATCH --job-name=批量推理 #SBATCH --partition=h100 #SBATCH --gres=gpu:H100:1 #SBATCH--数组=0-9 #SBATCH --时间=01:00:00 # 并行处理10个分片 SHARD_ID=$SLURM_ARRAY_TASK_ID srun apptainer 运行 --nv /data0/apptainer/pytorch_24.01-py3.sif \ python 推理.py \ --输入/data0/input/shard_${SHARD_ID}.json \ --output /data0/output/shard_${SHARD_ID}.json ## 资源 ### 官方文档 * Slurm 命令： * Slurm 快速入门： * Apptainer 用户指南： ### SRP 资源 * 部署指南： * **Oracle OKE Grafana：** * 集群： *工作负载： * 职位统计： * **DO DOKS Grafana：** * 集群： * 工作负载： * 职位统计： * ssubmit 示例： ## 实施步骤在帮助用户完成 Slurm 作业时： 1. **了解要求：** * 什么工作负载类型？（训练、推理、数据处理） * GPU要求（数量、内存） * 预计运行时间 * 数据输入/输出位置 2. **选择集群：** * 适用于大多数工作负载的 Oracle OKE (H100) * DO DOKS (H200) 满足尖端 GPU 需求 3. **编写作业脚本：** * 使用现代简化模板（无通知代码） * 指定适当的资源 * 使用带有 `--nv` 标志的 Apptainer 容器 * 设置适当的日志记录 4. **提交并监控：** * 使用 `sbatch` 或 `ssubmit` 提交 * 使用 `squeue` 和 Grafana 进行监控 * 检查日志是否有错误 * 验证GPU利用率 5. **调试问题：** * 查看飞书通知失败原因 * 查看日志文件 * 使用 `scontrol` 获取详细的工作信息 * 查阅故障排除表 6. **优化：** * 根据GPU内存调整批量大小 * 使用作业数组进行并行处理 * 为长期运行实施检查点 * 使用 `sacct` 和 `seff` 监控资源使用情况

泥浆

包含技能