Spring AI应用：利用DeepSeek+嵌入模型+Milvus向量数据库实现检索增强生成--RAG应用（超详细）

Spring AI应用：利用DeepSeek+嵌入模型+Milvus向量数据库实现检索增强生成–RAG应用（超详细）

在当今数字化时代，人工智能（AI）技术的快速发展为各行业带来了前所未有的机遇。其中，检索增强生成（RAG）技术作为一种结合了检索和生成的混合模型，已经在自然语言处理领域取得了显著的成果。本文将详细介绍如何利用Spring AI框架、DeepSeek大模型、嵌入模型以及Milvus向量数据库实现一个高效的RAG应用。通过这一实践，读者将能够构建一个能够处理复杂查询并生成高质量答案的智能系统。

一、技术背景与应用场景

（一）检索增强生成（RAG）技术

检索增强生成（Retrieval-Augmented Generation，RAG）是一种结合了检索（Retrieval）和生成（Generation）的混合模型。它通过检索模块从大规模文档集合中提取与查询相关的文档片段，然后将这些片段作为上下文信息输入到生成模块中，从而生成更准确、更相关的答案。RAG技术在问答系统、文档摘要、内容推荐等领域具有广泛的应用前景。

（二）技术选型

Spring AI框架：Spring AI是Spring框架的扩展，专门用于构建AI驱动的应用程序。它提供了与各种AI模型的无缝集成，简化了开发流程。
DeepSeek大模型：DeepSeek是一个强大的预训练语言模型，能够处理复杂的自然语言任务。通过Spring AI框架，可以轻松调用DeepSeek模型。
Milvus向量数据库：Milvus是一个开源的向量数据库，专门用于存储和检索高维向量数据。它支持多种索引类型，能够高效地处理大规模数据。
嵌入模型：嵌入模型用于将文本转换为向量表示，以便存储到Milvus数据库中。常用的嵌入模型包括BERT、Sentence-BERT等。

二、系统架构设计

（一）整体架构

整个RAG应用的架构可以分为以下几个主要部分：

前端界面：用户通过前端界面输入查询问题，并接收系统生成的答案。
后端服务：后端服务负责处理用户的查询请求，调用RAG模型生成答案，并将结果返回给前端。
Milvus向量数据库：存储文档的向量表示，用于检索与查询相关的文档片段。
DeepSeek大模型：生成最终的答案。

（二）工作流程

用户通过前端界面输入查询问题。
后端服务将查询问题发送到Milvus数据库，检索与问题相关的文档片段。
将检索到的文档片段作为上下文信息输入到DeepSeek模型中。
DeepSeek模型根据上下文生成最终的答案。
后端服务将生成的答案返回给前端界面显示给用户。

三、环境准备与依赖安装

（一）环境准备

Java开发环境：安装JDK 1.8或更高版本。
Spring Boot：创建一个Spring Boot项目，用于构建后端服务。
Milvus数据库：安装并启动Milvus服务。
DeepSeek模型：确保DeepSeek模型可用，可以通过API调用。

（二）依赖安装

在pom.xml文件中添加以下依赖：

<dependencies><!-- Spring AI --><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai</artifactId><version>1.0.0</version></dependency><!-- Milvus Java SDK --><dependency><groupId>io.milvus</groupId><artifactId>milvus-sdk-java</artifactId><version>2.0.0</version></dependency><!-- DeepSeek Java SDK --><dependency><groupId>org.springframework.ai.deepseek</groupId><artifactId>deepseek-java-sdk</artifactId><version>1.0.0</version></dependency>
</dependencies>

四、Milvus向量数据库的搭建与数据准备

（一）连接Milvus数据库

在Spring Boot项目中，创建一个配置类来连接Milvus数据库：

import io.milvus.client.*;@Configuration
public class MilvusConfig {@Beanpublic MilvusClient milvusClient() {ConnectParam connectParam = new ConnectParam.Builder().withHost("localhost").withPort(19530).build();MilvusClient client = new MilvusGrpcClient.Builder().build();Response res = client.connect(connectParam);if (res.ok()) {System.out.println("Connected to Milvus server successfully.");} else {System.out.println("Failed to connect to Milvus server.");}return client;}
}

（二）创建集合与索引

在Milvus中创建一个集合用于存储文档的向量表示，并创建索引以加速检索：

import io.milvus.client.*;@Service
public class MilvusService {@Autowiredprivate MilvusClient milvusClient;public void createCollection(String collectionName) {CollectionSchema collectionSchema = new CollectionSchema.Builder().withCollectionName(collectionName).withDescription("Collection for RAG application").addField(new FieldSchema.Builder().withName("id").withDataType(DataType.INT64).withIsPrimaryKey(true).withAutoID(true).build()).addField(new FieldSchema.Builder().withName("vector").withDataType(DataType.FLOAT_VECTOR).withDimension(768) // Assuming BERT embeddings.build()).build();Response res = milvusClient.createCollection(collectionSchema);if (res.ok()) {System.out.println("Collection created successfully.");} else {System.out.println("Failed to create collection.");}}public void createIndex(String collectionName) {IndexParam indexParam = new IndexParam.Builder().withCollectionName(collectionName).withFieldName("vector").withIndexType(IndexType.IVF_FLAT).withMetricType(MetricType.L2).withParams(new IndexParam.IndexParams.Builder().withNlist(128).build()).build();Response res = milvusClient.createIndex(indexParam);if (res.ok()) {System.out.println("Index created successfully.");} else {System.out.println("Failed to create index.");}}
}

（三）数据插入

将文档数据插入Milvus数据库中。假设我们已经使用嵌入模型将文档转换为向量表示：

@Service
public class MilvusService {@Autowiredprivate MilvusClient milvusClient;public void insertData(String collectionName, List<float[]> vectors) {List<Long> ids = new ArrayList<>();List<List<Float>> vectorList = new ArrayList<>();for (float[] vector : vectors) {ids.add(null); // Auto-generated IDvectorList.add(Arrays.stream(vector).boxed().collect(Collectors.toList()));}InsertParam insertParam = new InsertParam.Builder().withCollectionName(collectionName).withFields(new FieldParam.Builder().withName("vector").withValues(vectorList).build()).build();Response res = milvusClient.insert(insertParam);if (res.ok()) {System.out.println("Data inserted successfully.");} else {System.out.println("Failed to insert data.");}}
}

五、DeepSeek大模型的集成与调用

（一）配置DeepSeek客户端

在Spring Boot项目中，创建一个配置类来配置DeepSeek客户端：

import org.springframework.ai.client.AiClient;
import org.springframework.ai.client.DefaultAiClient;
import org.springframework.ai.deepseek.client.DeepSeekAiClient;
import org.springframework.ai.deepseek.client.DeepSeekAiClientConfig;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;@Configuration
public class DeepSeekConfig {@Beanpublic AiClient deepSeekAiClient() {String apiKey = "your-deepseek-api-key"; // Replace with your actual API keyDeepSeekAiClientConfig config = new DeepSeekAiClientConfig(apiKey);return new DeepSeekAiClient(config);}
}

（二）调用DeepSeek模型

创建一个服务类来封装与DeepSeek模型的交互逻辑：

import org.springframework.ai.client.AiClient;
import org.springframework.ai.client.AiResponse;
import org.springframework.ai.prompt.Prompt;
import org.springframework.ai.prompt.messages.UserMessage;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;import java.util.List;@Service
publicclass DeepSeekService {@Autowiredprivate AiClient deepSeekAiClient;public String generateAnswer(String query, List<String> context) {Prompt prompt = new Prompt.Builder().withMessage(new UserMessage(query)).withContext(context).build();AiResponse response = deepSeekAiClient.generate(prompt);return response.getGeneratedText();}
}

六、实现RAG检索增强生成逻辑

（一）检索模块

创建一个服务类来实现从Milvus数据库中检索相关文档片段的逻辑：

import io.milvus.client.*;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;import java.util.ArrayList;
import java.util.List;@Service
public class RetrievalService {@Autowiredprivate MilvusClient milvusClient;public List<String> retrieveDocuments(String collectionName, float[] queryVector, int topK) {List<Long> ids = new ArrayList<>();List<List<Float>> vectorList = new ArrayList<>();vectorList.add(Arrays.stream(queryVector).boxed().collect(Collectors.toList()));SearchParam searchParam = new SearchParam.Builder().withCollectionName(collectionName).withDsl(new SearchParam.Dsl().withMetricType(MetricType.L2).withParams(new SearchParam.Dsl.Params.Builder().withTopK(topK).build()).withVectors(vectorList).build()).build();Response res = milvusClient.search(searchParam);if (res.ok()) {List<List<Float>> resultVectors = res.getVectorIdsList().get(0);List<String> retrievedDocuments = new ArrayList<>();for (List<Float> vector : resultVectors) {// Convert vector back to document (assuming you have a mapping)retrievedDocuments.add("Document corresponding to vector");}return retrievedDocuments;} else {throw new RuntimeException("Failed to retrieve documents.");}}
}

（二）生成模块

将检索到的文档片段作为上下文信息输入到DeepSeek模型中，生成最终的答案：

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;import java.util.List;@Service
public class RAGService {@Autowiredprivate RetrievalService retrievalService;@Autowiredprivate DeepSeekService deepSeekService;public String generateAnswer(String query, String collectionName, int topK) {// Convert query to vector using an embedding model (e.g., BERT)float[] queryVector = convertQueryToVector(query);// Retrieve relevant documents from MilvusList<String> retrievedDocuments = retrievalService.retrieveDocuments(collectionName, queryVector, topK);// Generate answer using DeepSeek modelString answer = deepSeekService.generateAnswer(query, retrievedDocuments);return answer;}private float[] convertQueryToVector(String query) {// Implement your embedding model logic here// For example, using BERT to convert query to vectorreturn new float[]{0.1f, 0.2f, 0.3f}; // Placeholder vector}
}

七、构建前端界面与后端接口

（一）前端界面

使用HTML和JavaScript构建一个简单的前端界面，用户可以在其中输入查询问题并查看生成的答案：

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>RAG Application</title>
</head>
<body><h1>RAG Application</h1><form id="queryForm"><label for="query">Enter your query:</label><input type="text" id="query" name="query" required><button type="submit">Submit</button></form><div id="answer"></div><script>document.getElementById('queryForm').addEventListener('submit', function(event) {event.preventDefault();const query = document.getElementById('query').value;fetch('/generate-answer', {method: 'POST',headers: {'Content-Type': 'application/json'},body: JSON.stringify({ query })}).then(response => response.json()).then(data => {document.getElementById('answer').innerText = data.answer;});});</script>
</body>
</html>

（二）后端接口

在Spring Boot项目中，创建一个控制器类来处理前端的查询请求：

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;@RestController
@RequestMapping("/api")
public class RAGController {@Autowiredprivate RAGService ragService;@PostMapping("/generate-answer")public Map<String, String> generateAnswer(@RequestBody Map<String, String> request) {String query = request.get("query");String answer = ragService.generateAnswer(query, "your_collection_name", 5); // Adjust collection name and topK as neededreturn Map.of("answer", answer);}
}