适用于 ML 和 AI 工作负载的分布式数据处理库。

用 Rust 编写的高性能矢量数据库，用于生产 RAG 和语义搜索。

pyvene 是斯坦福 NLP 的库，用于对 PyTorch 模型进行因果干预。它提供了一个基于字典的声明性框架，用于激活修补、因果追踪和交换干预训练——使干预实验可重复和可共享。

PyTorch Lightning 组织 PyTorch 代码以消除样板文件，同时保持灵活性。

该技能教会编码代理如何通过正确的初始化、分片、混合精度/卸载配置和检查点将 PyTorch FSDP2 添加到训练循环中。

根据官方文档生成的 pytorch-fsdp 开发的全面帮助。

用于生产 AI 应用的矢量数据库。

适用于 LLM 应用程序的开源 AI 可观察性和评估平台，具有跟踪、评估、数据集、实验和实时监控功能。

通过使用 LoRA、QLoRA 和 25+ 适配器方法训练 <1% 的参数来微调 LLM。

当您需要执行以下操作时，请使用大纲：

Flash Attention 通过 IO 感知的平铺和重新计算，为变压器注意力提供 2-4 倍的加速和 10-20 倍的内存减少。

OpenRLHF 是一个基于 Ray 的 RLHF 框架，针对具有 vLLM 推理加速的分布式训练进行了优化。

nnsight (/ɛn.saɪt/) 使研究人员能够解释和操作任何 PyTorch 模型的内部结构，具有在小型模型上本地运行相同代码或通过 NDIF 在大型模型 (70B+) 上远程运行相同代码的独特功能。

NeMo Evaluator SDK 使用容器化、可重复的评估和多后端执行（本地 Docker、Slurm HPC、Lepton 云）来评估来自 18 多个工具的 100 多个基准的 LLM。

NVIDIA 用于为法学硕士准备高质量训练数据的工具包。

nanoGPT 是专为学习和实验而设计的简化 GPT 实现。

当您需要执行以下操作时，请使用教育部培训：

当您需要时使用模型剪枝：

当您需要执行以下操作时，请使用模型合并：

当您需要执行以下操作时，请使用 MLflow：