具有最小依赖性的纯 C/C++ LLM 推理，针对 CPU 和非 NVIDIA 硬件进行了优化。

用于调试、评估和监控语言模型和人工智能应用程序的开发平台。

有关在 Lambda Labs GPU 云上使用按需实例和一键式集群运行 ML 工作负载的综合指南。

当您需要执行以下操作时，请使用知识蒸馏：

当您需要执行以下操作时，请使用讲师：

快速、免校准重量量化，支持 8/4/3/2/1 位精度，具有多个优化的后端。

使用 Transformer 强化学习 (TRL) 库实施组相对策略优化 (GRPO) 的专家级指南。该技能提供了经过实战检验的模式、关键见解和可用于生产的工作流程，用于通过自定义奖励函数微调语言模型。

训练后量化方法，使用分组量化将 LLM 压缩至 4 位，且精度损失最小。

GGUF（GPT 生成的统一格式）是 llama.cpp 的标准文件格式，可通过灵活的量化选项在 CPU、Apple Silicon 和 GPU 上进行高效推理。

TRL 提供了使语言模型与人类偏好保持一致的训练后方法。

Facebook AI 的库，用于十亿级矢量相似性搜索。

BigCode 评估工具可跨 15 多个基准评估代码生成模型，包括 HumanEval、MBPP 和 MultiPL-E（18 种语言）。

当您需要执行以下操作时，请使用 DSPy：

根据官方文档生成的 Deepspeed 开发的全面帮助。

来自认知科学的八个基于经验的框架，应用于计算机科学和人工智能研究。与临时的头脑风暴不同，这里的每个框架都得到了数十年创造力研究的支持——从科斯特勒的双联到考夫曼的相邻可能性。它们针对不同的认知操作：组合、重新表述、类比、约束、反转、抽象、探索边界和持有矛盾。

用于使用内存构建 LLM 应用程序的 AI 原生数据库。

使用 Salesforce 的 BLIP-2 通过冻结图像编码器和大型语言模型执行视觉语言任务的综合指南。

根据官方文档生成的蝾螈开发的全面帮助。

4 位量化可根据激活模式保留显着权重，以最小的精度损失实现 3 倍的加速。

使用 Meta 的 AudioCraft 通过 MusicGen、AudioGen 和 EnCodec 生成文本到音乐和文本到音频的综合指南。