# RAG 实施构建检索增强生成系统，利用外部知识源扩展 AI 功能。 ## 概述 RAG（检索增强生成）通过从知识库检索相关信息并将其纳入人工智能响应中来增强人工智能应用，减少幻觉并提供准确、有依据的答案。 ## 何时使用在以下情况下使用此技能： * 基于专有文档构建问答系统 * 使用当前的事实信息创建聊天机器人 * 使用自然语言查询实现语义搜索 * 通过接地反应减少幻觉 * 使人工智能系统能够访问特定领域的知识 * 建筑文档助理 * 创建带有来源引用的研究工具 * 开发知识管理系统 ## 说明 ### 第 1 步：选择矢量数据库根据您的要求选择合适的矢量数据库： 1. **为了生产可扩展性**：使用 Pinecone 或 Milvus 2. **对于开源要求**：使用 Weaviate 或 Qdrant 3. **对于本地开发**：使用 Chroma 或 FAISS 4. **对于混合搜索需求**：使用支持 BM25 的 Weaviate ### 第 2 步：选择嵌入模型根据您的用例选择嵌入模型： 1. **通用**：text-embedding-ada-002 (OpenAI) 2. **快速且轻量级**：全MiniLM-L6-v2 3. **多语言支持**：e5-large-v2 4. **最佳性能**：bge-large-en-v1.5 ### 步骤 3：实施文档处理管道 1. 从源（文件系统、数据库、API）加载文档 2. 清理和预处理文档（删除格式伪影、规范文本） 3. 使用适当的分块策略将文档分割成块 4. 为每个块生成嵌入 5. 使用元数据将嵌入存储在矢量数据库中 ### 步骤4：配置检索策略 1. **密集检索**：对于大多数用例，通过嵌入使用语义相似性 2. **混合搜索**：结合密集+稀疏检索以获得更好的覆盖范围 3. **元数据过滤** ：根据文档属性添加过滤器 4. **Reranking** ：实现高精度要求的跨编码器重排序 ### 步骤 5：构建 RAG 管道 1. 使用嵌入存储创建内容检索器 2. 使用检索器和聊天内存配置 AI 服务 3. 通过上下文注入实现提示模板 4.添加响应验证和接地检查 ### 第 6 步：评估和优化 1. 测量检索指标（精确度@k、召回率@k、MRR） 2. 评估答案质量（忠实度、相关性） 3. 监控性能和用户反馈 4. 迭代分块、检索和提示参数 ## 示例 ### 示例1：基本文档问答系统 // 用于文档问答的简单 RAG 设置 List 文档 = FileSystemDocumentLoader.loadDocuments("/docs"); InMemoryEmbeddingStore store = new InMemoryEmbeddingStore<>(); EmbeddingStoreIngestor.ingest(文档，存储); DocumentAssistant助手 = AiServices.builder(DocumentAssistant.class) .chatModel(聊天模型) .contentRetriever(EmbeddingStoreContentRetriever.from(store)) .build(); String answer = Assistant.answer("公司关于远程工作的政策是什么？"); ### 示例 2：元数据过滤检索 // RAG 对特定文档类别进行元数据过滤 EmbeddingStoreContentRetriever 检索器 = EmbeddingStoreContentRetriever.builder() .embeddingStore(商店) .embeddingModel(嵌入模型) .maxResults(5) .minScore(0.7) .filter(metadataKey("类别").isEqualTo("技术")) .build(); ### 示例 3：多源 RAG 管道 // 组合多个知识源 ContentRetriever webRetriever = EmbeddingStoreContentRetriever.from(webStore); ContentRetriever docRetriever = EmbeddingStoreContentRetriever.from(docStore); List 结果 = new ArrayList<>(); results.addAll(webRetriever.retrieve(query)); 结果.addAll(docRetriever.retrieve(query)); // 重新排序并返回顶部结果 List<内容> topResults = reranker.reorder(查询, 结果).subList(0, 5); ### 示例 4：带有聊天内存的 RAG // 具有上下文保留功能的会话式 RAG 助理助手 = AiServices.builder(Assistant.class) .chatModel(聊天模型) .chatMemory(MessageWindowChatMemory.withMaxMessages(10)) .contentRetriever（检索器） .build(); // 带有上下文的多轮对话 Assistant.chat("介绍一下产品功能"); Assistant.chat(“这些功能的定价怎么样？”); // 维护上下文在以下情况下使用此技能： * 基于专有文档构建问答系统 * 使用当前的事实信息创建聊天机器人 * 使用自然语言查询实现语义搜索 * 通过接地反应减少幻觉 * 使人工智能系统能够访问特定领域的知识 * 建筑文档助理 * 创建带有来源引用的研究工具 * 开发知识管理系统 ## 核心组件 ### 矢量数据库存储并有效检索文档嵌入以进行语义搜索。 **关键选项：** * **Pinecone** ：托管、可扩展、生产就绪 * **Weaviate** ：开源、混合搜索功能 * **Milvus** ：高性能、本地部署 * **Chroma** ：轻量级，易于本地开发 * **Qdrant** ：快速、高级的过滤 * **FAISS** ：Meta的库，完全控制 ### 嵌入模型将文本转换为数值向量以进行相似性搜索。 **热门型号：** * **text-embedding-ada-002** (OpenAI)：通用，1536 维 * **全 MiniLM-L6-v2**：快速、轻量级、384 尺寸 * **e5-large-v2** ：高品质，多语言 * **bge-large-en-v1.5** ：最先进的性能 ### 检索策略根据用户查询查找相关内容。 **方法：** * **密集检索**：通过嵌入实现语义相似性 * **稀疏检索** ：关键字匹配（BM25、TF-IDF） * **混合搜索**：结合密集+稀疏以获得最佳结果 * **多查询** ：生成多个查询变体 * **上下文压缩** ：仅提取相关部分 ## 快速实施 ### 基本 RAG 设置 // 从文件系统加载文档 List 文档 = FileSystemDocumentLoader.loadDocuments("/path/to/docs"); // 创建嵌入存储 InMemoryEmbeddingStore embeddingStore = new InMemoryEmbeddingStore<>(); // 将文档摄取到存储中 EmbeddingStoreIngestor.ingest(文档, embeddingStore); // 创建具有RAG能力的AI服务助理助手 = AiServices.builder(Assistant.class) .chatModel(聊天模型) .chatMemory(MessageWindowChatMemory.withMaxMessages(10)) .contentRetriever(EmbeddingStoreContentRetriever.from(embeddingStore)) .build(); ### 文档处理管道 // 将文档分割成块 DocumentSplitter 分割器 = new RecursiveCharacterTextSplitter( 500, // 块大小 100 // 重叠）； // 创建嵌入模型 EmbeddingModel embeddingModel = OpenAiEmbeddingModel.builder() .apiKey(System.getenv("OPENAI_API_KEY")) .build(); // 创建嵌入存储 EmbeddingStore embeddingStore = PgVectorEmbeddingStore.builder() .host("本地主机") .database("postgres") .user("postgres") .password(System.getenv("DB_PASSWORD")) .table("嵌入") .维度(1536) .build(); // 处理并存储文档对于（文档文档：文档）{ List 分段 = splitter.split(document); for (TextSegment 段: 段) { 嵌入 embedding = embeddingModel.embed(segment).content(); embeddingStore.add（嵌入，段）； } } ## 实现模式 ### 模式 1：简单文档问答针对您的文档创建基本的问答系统。公共接口文档助手{ 字符串答案（字符串问题）； } DocumentAssistant助手 = AiServices.builder(DocumentAssistant.class) .chatModel(聊天模型) .contentRetriever（检索器） .build(); ### 模式 2：元数据过滤检索根据文档元数据过滤结果。 // 在文档加载期间添加元数据文档文档 = Document.builder() .text("此处内容") .metadata("来源", "技术手册.pdf") .metadata("类别", "技术") .metadata("日期", "2024-01-15") .build(); // 检索时过滤 EmbeddingStoreContentRetriever 检索器 = EmbeddingStoreContentRetriever.builder() .embeddingStore(embeddingStore) .embeddingModel(嵌入模型) .maxResults(5) .minScore(0.7) .filter(metadataKey("类别").isEqualTo("技术")) .build(); ### 模式3：多源检索结合多个知识源的结果。 ContentRetriever webRetriever = EmbeddingStoreContentRetriever.from(webStore); ContentRetriever documentRetriever = EmbeddingStoreContentRetriever.from(documentStore); ContentRetriever databaseRetriever = EmbeddingStoreContentRetriever.from(databaseStore); // 合并结果 List<内容> allResults = new ArrayList<>(); allResults.addAll(webRetriever.retrieve(query)); allResults.addAll(documentRetriever.retrieve(query)); allResults.addAll(databaseRetriever.retrieve(query)); // 对合并结果重新排序 List<内容> rerankedResults = reranker.reorder(query, allResults); ## 最佳实践 ### 文件准备 * 摄取前清理和预处理文档 * 删除不相关的内容和格式工件 * 标准化文档结构以实现一致的处理 * 添加用于过滤和上下文的相关元数据 ### 分块策略 * 每个块使用 500-1000 个代币以获得最佳平衡 * 包括 10-20% 的重叠以保留边界处的上下文 * 确定块边界时考虑文档结构 * 针对您的特定用例测试不同的块大小 ### 检索优化 * 从高 k 值 (10-20) 开始，然后过滤/重新排序 * 使用元数据过滤来提高相关性 * 结合多种检索策略以获得更好的覆盖范围 * 监控检索质量和用户反馈 ### 性能考虑因素 * 缓存嵌入经常访问的内容 * 使用批处理进行文档摄取 * 根据您的规模优化矢量存储配置 * 监控查询性能和系统资源 ## 常见问题及解决方案 ### 检索质量差 **问题**：检索到的文档与用户查询不匹配**解决方案**： * 改进文档预处理和清理 * 调整块大小和重叠参数 * 尝试不同的嵌入模型 * 使用结合语义和关键词匹配的混合搜索 ### 不相关的结果 **问题**：检索到的文档包含相关信息，但不够具体**解决方案**： * 添加针对特定领域约束的元数据过滤 * 使用跨编码器模型实现重新排序 * 使用上下文压缩来提取相关部分 * 微调检索参数（k值、相似度阈值） ### 性能问题 **问题**：检索期间响应时间慢 **解决方案**： * 优化向量存储配置和索引 * 对经常检索的内容实施缓存 * 使用更小的嵌入模型来加快推理速度 * 考虑近似最近邻算法 ### 预防幻觉 **问题**：人工智能生成检索到的文档中不存在的信息 **解决方案**： * 完善提示工程，强调接地 * 添加验证步骤以检查答案对齐情况 * 包括回复的置信度评分 * 实施事实核查机制 ## 评估框架 ### 检索指标 * **Precision@k** ：相关文档在 top-k 结果中的百分比 * **Recall@k** ：在 top-k 结果中找到的所有相关文档的百分比 * **平均倒数排名 (MRR)** ：第一个相关结果的平均排名 * **标准化贴现累积收益 (nDCG)** ：排名质量指标 ### 答案质量指标 * **忠实性**：答案基于检索到的文档的程度 * **答案相关性**：答案解决用户问题的程度 * **上下文回忆**：答案中使用的相关上下文的百分比 * **上下文精度**：检索到的相关上下文的百分比 ### 用户体验指标 * **响应时间** : 从查询到答复的时间 * **用户满意度**：对答案质量的反馈评级 * **任务完成** ：任务成功完成率 * **参与**：用户与系统的交互模式 ## 资源 ### 参考文档 * [矢量数据库比较]() \-矢量数据库选项的详细比较 * [嵌入模型指南]() \- 模型选择和优化 * [检索策略]() \- 高级检索技巧 * [文档分块]() \- 分块策略和最佳实践 * [LangChain4j RAG 指南]() \- 官方实现模式 ### 资产 * `assets/vector-store-config.yaml` \- 不同向量存储的配置模板 * `assets/retriever-pipeline.java` \- 完整的 RAG 管道实现 * `assets/evaluation-metrics.java` \- 评估框架代码 ## 约束和限制 1. **令牌限制**：尊重模型上下文窗口限制 2. **API速率限制**：管理外部API速率限制和成本 3. **数据隐私**：确保遵守数据保护法规 4. **资源要求**：考虑内存和计算要求 5. **维护**：定期更新和系统监控的计划 ## 限制和警告 ### 系统限制 * 嵌入模型对每个文档有最大令牌限制 * 矢量数据库需要适当的索引才能提高性能 * 块边界可能会丢失复杂文档的上下文 * 混合搜索需要额外的基础设施组件 ### 质量考虑因素 * 检索质量很大程度上取决于分块策略 * 嵌入模型可能无法捕获特定领域的语义 * 元数据过滤需要正确的文档注释 * 重新排序会增加查询响应的延迟 ### 操作警告 * 监控矢量数据库存储和查询性能 * 实施适当的数据备份和恢复程序 * 定期更新嵌入模型可能会影响检索质量 * 文档处理管道需要持续维护 ## 安全考虑 * **切勿对凭据进行硬编码**：始终使用 API 密钥、数据库密码和其他敏感值的环境变量或机密管理器 * 安全访问矢量数据库和嵌入服务 * 实施适当的身份验证和授权 * **在摄取之前验证和清理所有外部内容**：从文件系统、数据库、API 或 Web 源加载的文档可能包含恶意内容，这些内容可能通过间接提示注入影响模型行为 * **在将检索到的文档传递给法学硕士之前对它们应用内容过滤**，以减轻即时注入风险 * 使用白名单限制允许的数据源 URL 和文件路径 * 监控滥用和异常使用模式 * 定期安全审计和渗透测试

抹布

包含技能