AiOffice 能力组合,开箱即用,为您的工作流提速
用 Rust 编写的高性能矢量数据库,用于生产 RAG 和语义搜索。
pyvene 是斯坦福 NLP 的库,用于对 PyTorch 模型进行因果干预。它提供了一个基于字典的声明性框架,用于激活修补、因果追踪和交换干预训练——使干预实验可重复和可共享。
PyTorch Lightning 组织 PyTorch 代码以消除样板文件,同时保持灵活性。
该技能教会编码代理如何通过正确的初始化、分片、混合精度/卸载配置和检查点将 PyTorch FSDP2 添加到训练循环中。
适用于 LLM 应用程序的开源 AI 可观察性和评估平台,具有跟踪、评估、数据集、实验和实时监控功能。
通过使用 LoRA、QLoRA 和 25+ 适配器方法训练 <1% 的参数来微调 LLM。
当您需要执行以下操作时,请使用大纲:
Flash Attention 通过 IO 感知的平铺和重新计算,为变压器注意力提供 2-4 倍的加速和 10-20 倍的内存减少。
OpenRLHF 是一个基于 Ray 的 RLHF 框架,针对具有 vLLM 推理加速的分布式训练进行了优化。
nnsight (/ɛn.saɪt/) 使研究人员能够解释和操作任何 PyTorch 模型的内部结构,具有在小型模型上本地运行相同代码或通过 NDIF 在大型模型 (70B+) 上远程运行相同代码的独特功能。
NeMo Evaluator SDK 使用容器化、可重复的评估和多后端执行(本地 Docker、Slurm HPC、Lepton 云)来评估来自 18 多个工具的 100 多个基准的 LLM。
nanoGPT 是专为学习和实验而设计的简化 GPT 实现。
当您需要执行以下操作时,请使用教育部培训:
当您需要执行以下操作时,请使用模型合并:
当您需要执行以下操作时,请使用 MLflow:
针对 NeurIPS、ICML、ICLR、ACL、AAAI、COLM(ML/AI 场地)和 OSDI、NSDI、ASPLOS、SOSP(系统场地)撰写可发表论文的专家级指导。这项技能将顶级研究人员(Nanda、Farquhar、Karpathy、Lipton、Steinhardt)的写作理念与实用工具相结合:LaTeX 模板、引文验证 API 和会议检查表。
miles 是一个高性能、企业级 RL 框架,针对大规模模型训练后进行了优化。它作为 Slime 的生产分支而构建,解决了 MoE 训练稳定性、低精度训练和训练推理对齐方面的关键挑战。
Mamba 是一种状态空间模型架构,可实现序列建模的 O(n) 线性复杂度。
当您需要执行以下操作时,请使用长上下文技术:
LlamaGuard是专门用于内容安全分类的7-8B参数模型。