# LangChain4J 矢量存储配置使用 LangChain4J 为检索增强生成应用程序配置向量存储。 ## 概述向量存储是 RAG（检索增强生成）系统的重要组成部分，可以高效存储和检索用于语义搜索的文档嵌入。 LangChain4J 提供了对多个矢量数据库后端的统一抽象，包括 PostgreSQL/pgvector、Pinecone、MongoDB Atlas、Milvus、Neo4j 和用于开发的内存存储。 ## 何时使用在以下情况下配置矢量存储： * 构建需要嵌入存储和检索的 RAG 应用程序 * 在Java应用程序中实现语义搜索 * 将法学硕士与向量数据库集成以实现情境感知响应 * 配置文本、图像或其他数据的多模式嵌入存储 * 设置向量相似度和全文搜索相结合的混合搜索 * 在不同的矢量存储提供商之间迁移 * 优化生产工作负载的矢量数据库性能 * 构建具有内存和持久性的人工智能驱动的应用程序 * 实现文档分块和嵌入管道 * 创建基于向量相似度的推荐系统 ## 说明 ### 设置基本向量存储为向量操作配置嵌入存储： @豆子公共 EmbeddingStore embeddingStore() { 返回 PgVectorEmbeddingStore.builder() .host("本地主机") .端口(5432) .database("向量数据库") .user("用户名") .password("密码") .table("嵌入") .dimension(1536) // OpenAI 嵌入维度 .createTable(true) .useIndex(true) .build(); } ### 配置多个向量存储针对不同的用例使用不同的商店： @配置公共类 MultiVectorStoreConfiguration { @豆子 @Qualifier(“文档存储”) 公共 EmbeddingStore 文档EmbeddingStore() { 返回 PgVectorEmbeddingStore.builder() .table(“文档嵌入”) .维度(1536) .build(); } @豆子 @Qualifier(“聊天历史存储”) 公共 EmbeddingStore chatHistoryEmbeddingStore() { 返回 MongoDbEmbeddingStore.builder() .collectionName("chat_embeddings") .build(); } } ### 实施文档摄取使用 EmbeddingStoreIngestor 进行自动化文档处理： @豆子公共 EmbeddingStoreIngestor embeddingStoreIngestor( EmbeddingStore embeddingStore，嵌入模型嵌入模型）{ 返回 EmbeddingStoreIngestor.builder() .documentSplitter(DocumentSplitters.recursive( 300, // 最大段大小InTokens 20, // 最大重叠大小InTokens 新的 OpenAiTokenizer(GPT_3_5_TURBO) ）） .embeddingModel(嵌入模型) .embeddingStore(embeddingStore) .build(); } ### 设置元数据过滤配置基于元数据的过滤功能： // 具有元数据字段映射的 MongoDB IndexMapping indexMapping = IndexMapping.builder() .维度(1536) .metadataFieldNames(Set.of("类别", "来源", "创建日期", "作者")) .build(); // 使用元数据过滤器进行搜索 EmbeddingSearchRequest 请求 = EmbeddingSearchRequest.builder() .queryEmbedding(queryEmbedding) .maxResults(10) .过滤器（和（ metadataKey("类别").isEqualTo("technical_docs"), metadataKey("created_date").isGreaterThan(LocalDate.now().minusMonths(6)) ）） .build(); ### 配置生产设置实现连接池和监控： @豆子公共 EmbeddingStore optimizationPgVectorStore() { HikariConfig hikariConfig = new HikariConfig(); hikariConfig.setJdbcUrl("jdbc:postgresql://localhost:5432/vectordb"); hikariConfig.setUsername("用户名"); hikariConfig.setPassword("密码"); hikariConfig.setMaximumPoolSize(20); hikariConfig.setMinimumIdle(5); hikariConfig.setConnectionTimeout(30000); 数据源 dataSource = new HikariDataSource(hikariConfig); 返回 PgVectorEmbeddingStore.builder() .dataSource(数据源) .table("嵌入") .维度(1536) .useIndex(true) .build(); } ### 实施健康检查监控矢量存储连接： @组件公共类 VectorStoreHealthIndicator 实现 HealthIndicator { 私人最终 EmbeddingStore embeddingStore; @覆盖公共卫生健康() { 尝试{ embeddingStore.search(EmbeddingSearchRequest.builder() .queryEmbedding（新嵌入（Collections.nCopies（1536，0.0f））） .maxResults(1) .build()); 返回 Health.up() .withDetail("store", embeddingStore.getClass().getSimpleName()) .build(); } catch (异常 e) { 返回 Health.down() .withDetail("错误", e.getMessage()) .build(); } } } ## 示例 ### 基本 RAG 应用程序设置 @配置公共类 SimpleRagConfig { @豆子公共 EmbeddingStore embeddingStore() { 返回 PgVectorEmbeddingStore.builder() .host("本地主机") .database(“rag_db”) .table("文档") .维度(1536) .build(); } @豆子公共 ChatLanguageModel chatModel() { 返回 OpenAiChatModel.withApiKey(System.getenv("OPENAI_API_KEY")); } } ### 语义搜索服务 @服务公共类 SemanticSearchService { 私有最终 EmbeddingStore 存储；私有最终 EmbeddingModel 嵌入模型；公共列表<字符串>搜索（字符串查询，int maxResults）{ 嵌入 queryEmbedding = embeddingModel.embed(query).content(); EmbeddingSearchRequest 请求 = EmbeddingSearchRequest.builder() .queryEmbedding(queryEmbedding) .maxResults(maxResults) .minScore(0.75) .build(); 返回 store.search(request).matches().stream() .map(匹配 -> match.embedded().text()) .toList(); } } ### 生产设置与监控 @配置公共类 ProductionVectorStoreConfig { @豆子公共 EmbeddingStore vectorStore( @Value("${vector.store.host}") 字符串主机，计量表注册处 (meterRegistry) { EmbeddingStore store = PgVectorEmbeddingStore.builder() .主机（主机） .database("生产向量") .useIndex(true) .indexListSize(200) .build(); 返回新的 MonitoredEmbeddingStore<>(store,meterRegistry); } } ## 最佳实践 ### 选择正确的矢量存储 **用于开发：** * 使用`InMemoryEmbeddingStore`进行本地开发和测试 * 快速设置，无外部依赖 * 应用程序重启时数据丢失 **用于生产：** * **PostgreSQL + pgvector** ：非常适合现有的 PostgreSQL 环境 * **Pinecone**：托管服务，有利于快速原型设计 * **MongoDB Atlas** ：与现有 MongoDB 应用程序良好集成 * **Milvus/Zilliz** ：大规模部署的高性能 ### 配置适当的索引类型根据性能需求选择索引类型： // 对于高召回率要求 .indexType(IndexType.FLAT) // 精确搜索，速度较慢但准确 // 为了平衡性能 .indexType(IndexType.IVF_FLAT) // 速度和准确性的良好平衡 // 用于高速近似搜索 .indexType(IndexType.HNSW) // 最快，但准确度稍差 ### 优化向量维度将嵌入尺寸与您的模型相匹配： // OpenAI text-embedding-3-small .维度(1536) // OpenAI text-embedding-3-large .维度(3072) // 句子转换器 .dimension(384) // 全MiniLM-L6-v2 .dimension(768) // 全 mpnet-base-v2 ### 实现批量操作使用批处理操作以获得更好的性能： @服务公共类 BatchEmbeddingService { 私有静态最终 int BATCH_SIZE = 100; 公共无效addDocumentsBatch（列表<文档>文档）{ for (List 批处理: Lists.partition(documents, BATCH_SIZE)) { List 段=batch.stream() .map(doc -> TextSegment.from(doc.text(), doc.metadata())) .collect(Collectors.toList()); List embeddings = embeddingModel.embedAll(segments) .content(); embeddingStore.addAll（嵌入，段）； } } } ### 安全配置保护敏感配置： // 使用环境变量 @Value("${vector.store.api.key:#{null}}") 私有字符串 apiKey； // 验证配置 @PostConstruct 公共无效验证配置（）{ if (StringUtils.isBlank(apiKey)) { throw new IllegalStateException("必须配置矢量存储 API 密钥"); } } ## 参考文献有关全面的文档和高级配置，请参阅： * [API 参考]() \- 完整的 API 文档 * [示例]() \- 生产就绪示例 ## 限制和警告 * 向量维度必须与嵌入模型相匹配；尺寸不匹配会导致错误。 * 大型向量集合需要适当的索引配置才能获得可接受的搜索性能。 * 嵌入生成可能会很昂贵；实施批处理和缓存策略。 * 不同的向量存储有不同的距离度量支持；验证兼容性。 * 连接池对于生产部署至关重要，可以防止连接耗尽。 * 元数据过滤功能因矢量存储实现而异。 *向量存储消耗大量内存；监控生产中的资源使用情况。 * 矢量存储提供商之间的迁移可能需要重新嵌入所有文档。 * 批量操作比单文档操作效率更高。 * 始终在应用程序启动期间验证配置以快速失败。

Langchain4j 矢量存储配置

包含技能