AI & 大模型
分布式 LLM 预训练 Torchtitan
@distributed-llm-pretraining-torchtitan
TorchTitan 是 PyTorch 的官方平台，用于大规模 LLM 预训练，具有可组合的 4D 并行性（FSDP2、TP、PP、CP），在 H100 GPU 上实现了 65% 以上的加速。
包含技能
1 个分布式 LLM 预训练 Torchtitan
@zechenzhangagi/ai-research-skills/distributed-llm-pretraining-torchtitan
TorchTitan 是 PyTorch 的官方平台，用于大规模 LLM 预训练，具有可组合的 4D 并行性（FSDP2、TP、PP、CP），在 H100 GPU 上实现了 65% 以上的加速。