# Qdrant 矢量数据库集成 ## 概述 Qdrant 是一个用于语义搜索和相似性检索的 AI 原生向量数据库。该技能提供了将 Qdrant 与 Java 应用程序集成的模式，重点关注 Spring Boot 集成和 LangChain4j 框架支持。为 RAG 系统、推荐引擎和语义搜索应用程序提供高效的矢量搜索功能。 ## 何时使用实施时使用此技能： * Spring Boot应用中的语义搜索或推荐系统 * 使用 Java 和 LangChain4j 的检索增强生成 (RAG) 管道 * 用于人工智能和机器学习应用的矢量数据库集成 * 具有过滤查询的高性能相似性搜索 * 嵌入上下文感知应用程序的存储和检索 ## 说明请按照以下步骤将 Qdrant 与您的 Java 应用程序集成： ### 1\.部署 Qdrant 实例使用 Docker 启动 Qdrant 进行本地开发： docker运行-p 6333:6333 -p 6334:6334 \ -v "$(pwd)/qdrant_storage:/qdrant/storage:z" \ 奎德兰特 ### 2\.添加依赖项在构建配置中包含 Qdrant 客户端依赖项： <依赖关系> io.qdrant 客户端 <版本>1.15.0 ### 3\.初始化 Qdrant 客户端创建并配置 Qdrant 客户端： QdrantClient 客户端 = 新 QdrantClient( QdrantGrpcClient.newBuilder("localhost").build() ）； ### 4\.创建收藏设置具有适当尺寸的向量集合： client.createCollectionAsync("搜索集合", VectorParams.newBuilder() .setDistance(距离.余弦) .setSize(384) .build() ).get(); ### 5\.执行向量运算更新插入和搜索向量： // 更新插入向量 List 点 = List.of( PointStruct.newBuilder() .setId(id(1)) .setVectors(向量(0.05f, 0.61f, 0.76f, 0.74f)) .build() ）； client.upsertAsync("搜索集合", 点).get(); // 搜索向量列表结果 = client.queryAsync( QueryPoints.newBuilder() .setCollectionName("搜索集合") .setLimit(5) .setQuery(最近的(0.2f, 0.1f, 0.9f, 0.7f)) .build() ).get(); ### 6\.与LangChain4j集成将 LangChain4j 的 QdrantEmbeddingStore 用于 RAG 应用程序： EmbeddingStore embeddingStore = QdrantEmbeddingStore.builder() .collectionName("rag-collection") .host("本地主机") .端口(6334) .build(); ## 入门：Qdrant 设置要开始集成，首先部署一个 Qdrant 实例。 ### 使用 Docker 进行本地开发 # 拉取最新的Qdrant镜像 docker pull qdrant/qdrant # 运行Qdrant容器 docker运行-p 6333:6333 -p 6334:6334 \ -v "$(pwd)/qdrant_storage:/qdrant/storage:z" \ 奎德兰特通过以下方式访问 Qdrant： * **REST API** ：`http://localhost:6333` * **gRPC API** : `http://localhost:6334` （由 Java 客户端使用） ## 核心 Java 客户端集成将依赖项添加到构建配置并初始化客户端以进行编程访问。 ### 依赖配置 **马夫：** <依赖关系> io.qdrant 客户端 <版本>1.15.0 **摇篮：** 实现 'io.qdrant:client:1.15.0' ### 客户端初始化创建并配置 Qdrant 客户端以供应用程序使用：导入 io.qdrant.client.QdrantClient; 导入 io.qdrant.client.QdrantGrpcClient; // 基本本地连接 QdrantClient 客户端 = 新 QdrantClient( QdrantGrpcClient.newBuilder("localhost").build()); // 使用 API 密钥进行安全连接 QdrantClient secureClient = 新 QdrantClient( QdrantGrpcClient.newBuilder("localhost", 6334, false) .withApiKey("YOUR_API_KEY") .build()); // 使用 TLS 管理连接 QdrantClient tlsClient = 新 QdrantClient( QdrantGrpcClient.newBuilder(通道) .withApiKey("YOUR_API_KEY") .build()); ## 收藏管理使用适当的距离度量和维度创建和配置矢量集合。 ### 创建集合导入 io.qdrant.client.grpc.Collections.Distance; 导入 io.qdrant.client.grpc.Collections.VectorParams; 导入 java.util.concurrent.ExecutionException; // 创建一个具有余弦距离的集合 client.createCollectionAsync("搜索集合", VectorParams.newBuilder() .setDistance(距离.余弦) .setSize(384) .build()).get(); // 创建带有配置的集合 client.createCollectionAsync("推荐引擎", VectorParams.newBuilder() .setDistance(距离.欧几里德) .setSize(512) .build()).get(); ## 向量运算执行常见的向量操作，包括更新插入、搜索和过滤。 ### 更新插入点导入 io.qdrant.client.grpc.Points.PointStruct; 导入java.util.List；导入java.util.Map；导入静态 io.qdrant.client.PointIdFactory.id; 导入静态 io.qdrant.client.ValueFactory.value; 导入静态 io.qdrant.client.VectorsFactory.vectors； // 批量更新插入向量点 List 点 = List.of( PointStruct.newBuilder() .setId(id(1)) .setVectors(向量(0.05f, 0.61f, 0.76f, 0.74f)) .putAllPayload(地图.of( "title", value("Spring Boot 文档"), "content", value("Spring Boot框架文档") ）） .build(), PointStruct.newBuilder() .setId(id(2)) .setVectors(向量(0.19f, 0.81f, 0.75f, 0.11f)) .putAllPayload(地图.of( "标题", value("Qdrant向量数据库"), "content", value("AI 应用矢量数据库") ）） .build() ）； client.upsertAsync("搜索集合", 点).get(); ### 矢量搜索导入 io.qdrant.client.grpc.Points.QueryPoints; 导入 io.qdrant.client.grpc.Points.ScoredPoint; 导入静态 io.qdrant.client.QueryFactory.nearest; 导入java.util.List； // 基本相似度搜索列表结果 = client.queryAsync( QueryPoints.newBuilder() .setCollectionName("搜索集合") .setLimit(5) .setQuery(最近的(0.2f, 0.1f, 0.9f, 0.7f)) .build() ).get(); // 使用过滤器进行搜索 ListfilteredResults = client.searchAsync( SearchPoints.newBuilder() .setCollectionName("搜索集合") .addAllVector(List.of(0.6235f, 0.123f, 0.532f, 0.123f)) .setFilter(Filter.newBuilder() .addMust(范围(“rand_number”, Range.newBuilder().setGte(3).build())) .build()) .setLimit(5) .build()).get(); ## Spring Boot 集成使用依赖项注入和正确的配置将 Qdrant 与 Spring Boot 集成。 ### 配置类导入 io.qdrant.client.QdrantClient; 导入 io.qdrant.client.QdrantGrpcClient; 导入 org.springframework.beans.factory.annotation.Value; 导入 org.springframework.context.annotation.Bean; 导入 org.springframework.context.annotation.Configuration; @配置公共类 QdrantConfig { @Value("${qdrant.host:localhost}") 私有字符串主机； @Value("${qdrant.port:6334}") 私有 int 端口； @Value("${qdrant.api-key:}") 私有字符串 apiKey； @豆子公共 QdrantClient qdrantClient() { QdrantGrpcClient grpcClient = QdrantGrpcClient.newBuilder(主机, 端口, false) .withApiKey(apiKey) .build(); 返回新的 QdrantClient(grpcClient); } } ### 服务层实现导入 org.springframework.stereotype.Service; 导入java.util.List；导入 java.util.concurrent.ExecutionException; @服务公共类 VectorSearchService { 私有最终 QdrantClient qdrantClient；公共 VectorSearchService(QdrantClient qdrantClient) { this.qdrantClient = qdrantClient; } public List search(String collectionName, List queryVector) { 尝试{ 返回 qdrantClient.queryAsync( QueryPoints.newBuilder() .setCollectionName(集合名称) .setLimit(5) .setQuery(最近的(queryVector)) .build() ).get(); } catch (InterruptedException | ExecutionException e) { throw new RuntimeException("Qdrant 搜索失败", e); } } public void upsertPoints(String collectionName, List 点) { 尝试{ qdrantClient.upsertAsync(collectionName, 点).get(); } catch (InterruptedException | ExecutionException e) { throw new RuntimeException("Qdrant upsert 失败", e); } } } ## LangChain4j集成利用 LangChain4j 进行高级向量存储抽象和 RAG 实现。 ### 依赖关系设置 **马夫：** <依赖关系> dev.langchain4j langchain4j-qdrant <版本>1.7.0 ### QdrantEmbeddingStore 配置导入 dev.langchain4j.data.segment.TextSegment；导入 dev.langchain4j.embedding.EmbeddingModel；导入 dev.langchain4j.embedding.allminilml6v2.AllMiniLmL6V2EmbeddingModel；导入 dev.langchain4j.store.embedding.EmbeddingStore；导入 dev.langchain4j.store.embedding.EmbeddingStoreIngestor；导入 dev.langchain4j.store.embedding.qdrant.QdrantEmbeddingStore；导入 org.springframework.context.annotation.Bean; 导入 org.springframework.context.annotation.Configuration; @配置公共类 Langchain4jConfig { @豆子公共 EmbeddingStore embeddingStore() { 返回 QdrantEmbeddingStore.builder() .collectionName("rag-collection") .host("本地主机") .端口(6334) .apiKey("YOUR_API_KEY") .build(); } @豆子公共 EmbeddingModel embeddingModel() { 返回新的 AllMiniLmL6V2EmbeddingModel(); } @豆子公共 EmbeddingStoreIngestor embeddingStoreIngestor( EmbeddingStore embeddingStore，嵌入模型嵌入模型）{ 返回 EmbeddingStoreIngestor.builder() .embeddingStore(embeddingStore) .embeddingModel(嵌入模型) .build(); } } ### RAG 服务实施导入 dev.langchain4j.data.segment.TextSegment；导入 dev.langchain4j.embedding.EmbeddingModel；导入 dev.langchain4j.store.embedding.EmbeddingStore；导入 dev.langchain4j.store.embedding.EmbeddingStoreIngestor；导入 org.springframework.stereotype.Service; 导入java.util.List； @服务公共类 RagService { 私有最终 EmbeddingStoreIngestor 摄取器；公共RagService（EmbeddingStoreIngestor摄取器）{ this.ingestor = 摄取器； } 公共无效 ingestDocument（字符串文本）{ TextSegment 段 = TextSegment.from(text); 摄取器.摄取（段）； } 公共列表 findRelevant（字符串查询）{ EmbeddingStore embeddingStore = ingestor.getEmbeddingStore(); 返回 embeddingStore.findRelevant( ingestor.getEmbeddingModel().embed(query).content(), 5、 0.7 ).stream() .map(匹配 -> match.embedded()) .toList(); } } ## 示例 ### 基本搜索实现 // 创建简单的搜索端点 @RestController @RequestMapping(“/api/搜索”) 公共类搜索控制器{ 私有最终 VectorSearchService searchService; 公共SearchController（VectorSearchService searchService）{ this.searchService = searchService; } @GetMapping 公共列表搜索（@RequestParam字符串查询）{ // 将查询转换为嵌入（需要嵌入模型） List queryVector = embeddingModel.embed(query).content().vectorAsList(); return searchService.search("文档", queryVector); } } ## 最佳实践 ### 矢量数据库配置 * 使用适当的距离度量：余弦用于文本，欧几里得用于数字数据 * 根据嵌入模型规范优化向量维度 * 配置正确的集合命名约定 * 监控性能并优化搜索参数 ### Spring Boot 集成 * 始终使用构造函数注入进行依赖注入 * 通过适当的异常处理来处理异步操作 * 配置连接超时和重试策略 * 为生产环境使用正确的bean配置 ### 安全考虑 * 切勿在代码中硬编码 API 密钥 * 使用环境变量或Spring配置属性 * 实施适当的身份验证和授权 * 使用 TLS 进行生产连接 ### 性能优化 * 批量更新插入的批量操作 * 使用适当的限制和过滤器 * 监控内存使用情况和连接池 * 考虑对大型数据集进行分片 ## 高级模式 ### 多租户向量存储 // 实现基于集合的多租户公共类多租户向量服务{ 私有最终 QdrantClient 客户端；公共无效upsertForTenant（字符串租户Id，列表点）{ String collectionName = "tenant_" +tenantId + "_documents"; client.upsertAsync(collectionName, 点).get(); } } ### 带过滤器的混合搜索 // 将向量相似度与元数据过滤相结合 public List HybridSearch(String collectionName, List queryVector, 字符串类别，日期 dateRange) { 过滤器filter = Filter.newBuilder() .addMust(范围(“创建于”, Range.newBuilder().setGte(dateRange.getTime()).build())) .addMust(exactMatch("类别", 类别)) .build(); 返回 client.searchAsync( SearchPoints.newBuilder() .setCollectionName(集合名称) .addAllVector(queryVector) .setFilter(过滤器) .build() ).get(); } ## 参考文献有关全面的技术细节和高级模式，请参阅： * [Qdrant API 参考]() \- 完整的客户端 API 文档 * [完整的 Spring Boot 示例]() \- 完整的应用程序实现 * [Qdrant 官方文档]() \- 核心文档 * [LangChain4j 文档]() \- 特定于框架的模式 ## 限制和警告 * 向量维度必须与嵌入模型相匹配；尺寸不匹配会导致错误。 * **输入验证**：在将文档内容引入矢量存储之前始终验证和清理文档内容；不受信任的用户提供的或第三方文档可能包含可能影响基于 RAG 的模型响应的提示注入有效负载。 * **内容过滤**：在将嵌入存储中检索的文档传递给 LLM 之前，对它们应用内容过滤，以减轻间接提示注入风险。 * 大型向量集合需要适当的索引配置才能获得可接受的搜索性能。 * 归一化嵌入建议使用余弦距离；非标准化的欧几里得。 * Qdrant gRPC API（端口 6334）应用于生产；用于调试的 REST API（端口 6333）。 * 实施适当的连接池以避免负载下的连接耗尽。 * 批量更新插入操作比单个点插入更高效。 * 使用向量存储元数据时请注意有效负载大小限制。 * 收藏游戏删除所有数据；实施生产备份策略。 * 在没有适当索引的情况下过滤大型数据集可能会导致性能下降。

格德兰特

包含技能