详细介绍：基于LangChain构建高效RAG问答系统：向量检索与LLM集成实战
基于LangChain构建高效RAG问答系统：向量检索与LLM集成实战
在本文中，我将详细介绍如何使用LangChain框架构建一个完整的RAG（检索增强生成）问答系统。通过向量检索获取相关上下文，并结合大语言模型，我们能够构建出一个能够基于特定知识库回答问题的智能系统。
1. 基础设置与向量检索准备
首先，我们需要导入必要的库并设置向量存储访问：
import os
from dotenv import load_dotenv
from langchain_core.output_parsers import StrOutputParser
from langchain_community.embeddings import DashScopeEmbeddings
from langchain_redis import RedisConfig, RedisVectorStore
# 加载环境变量
load_dotenv(
)
# 定义查询问题
query = "我的生日是几月几日？"
# 初始化阿里云百炼平台的向量模型
embedding = DashScopeEmbeddings(model="text-embedding-v3"
, dashscope_api_key=os.getenv("ALY_EMBADING_KEY"
)
)
redis_url = "redis://localhost:6379" # Redis数据库的连接地址
# 配置Redis向量存储
config = RedisConfig(
index_name="my_index2"
, # 索引名称
redis_url=redis_url, # Redis数据库的连接地址
)
# 创建向量存储实例和检索器
vector_store = RedisVectorStore(embedding, config=config)
retriever = vector_store.as_retriever(
)这部分代码完成了以下工作：
- 加载环境变量以安全地使用API密钥
- 初始化阿里云文本嵌入模型
- 配置Redis向量数据库连接
- 创建检索器(retriever)，用于执行向量相似度检索
2. 执行向量检索
接下来，我们使用检索器从向量库中获取与查询相关的文本段落：
# 执行检索，获取相关文本段落
retriever_segments = retriever.invoke(query, k=5
)
print(retriever_segments)
# 将检索结果整合
text = []
for segment in retriever_segments:
text.append(segment.page_content)在这段代码中：
retriever.invoke(query, k=5)检索与查询语义最相关的5个文本段落- 我们将检索到的每个段落的文本内容提取并整合到一个列表中
3. 构建Prompt模板
我们需要设计一个提示模板，将检索到的相关信息和用户问题一起传递给大语言模型：
from langchain_core.prompts import ChatPromptTemplate
prompt_template = ChatPromptTemplate.from_messages(
[
("system"
, """你是一个问答机器人，你的任务是根据下述给定的已知信息回答用户的问题
已知信息：{context}
用户问题：{query}
如果已知问题不包含用户问题的答案，或者已知信息不足以回答用户的问题，请回答"抱歉，我无法回答这个问题。"
请不要输出已知信息中不包含的信息或者答案。
用中文回答用户问题
"""
)
,
]
)
# 格式化prompt
prompt = prompt_template.invoke({
"context": text, "query": query
}
)
print(prompt.to_messages(
)[0].content)这个提示模板：
- 明确定义了AI助手的角色和任务
- 设置了两个变量：
{context}用于传入检索结果，{query}用于传入用户问题 - 提供了清晰的回答指令，包括当信息不足时如何响应
4. 调用大语言模型获取回答
现在，我们使用LLM来生成基于上下文的回答：
from langchain_openai import ChatOpenAI
# 结果解析器，直接获取纯文本回复
parser = StrOutputParser(
)
# 初始化LLM模型接口
model = ChatOpenAI(base_url="https://openrouter.ai/api/v1"
, api_key=os.getenv("OPENAI_KEY"
)
,
model="qwen/qwq-32b:free"
)
# 调用模型获取回答
result = model.invoke(prompt)
print(result)这里我们：
- 使用了OpenRouter平台上的通义千问模型
- 通过
model.invoke(prompt)将格式化后的提示发送给模型 - 获取模型的文本响应
5. 构建完整的RAG链
最后，我们将把所有步骤整合成一个完整的LangChain处理链，实现端到端的RAG问答：
from operator import itemgetter
# 辅助函数：收集文档内容
def collect_documents(segments):
text = []
for segment in segments:
text.append(segment.page_content)
return text
# 构建完整的处理链
chain = ({
"context": itemgetter("query"
) | retriever | collect_documents,
"query": itemgetter("query"
)
} | prompt_template | model | parser)
# 设置新的查询并执行链
query = "你能帮助史可轩处理日常事务吗"
response = chain.invoke({
"query": query
}
)
print(response)这个链式处理流程：
- 接收用户查询
- 执行向量检索获取相关上下文
- 将上下文和查询组合到提示模板中
- 调用LLM生成回答
- 解析并返回最终的文本响应
详细解析链式处理
让我们解析一下这个链式处理的构建方式：
chain = ({
"context": itemgetter("query"
) | retriever | collect_documents,
"query": itemgetter("query"
)
} | prompt_template | model | parser)这个链式结构使用了LangChain的管道操作符 |，实现了以下流程：
itemgetter("query")从输入字典中提取查询文本- 将查询传递给
retriever执行向量检索 collect_documents函数处理检索结果，提取文本内容- 将处理后的上下文和原始查询分别作为
context和query传递给提示模板 - 提示模板格式化后的内容发送给LLM模型处理
- 最后通过
parser解析LLM的响应，获取纯文本结果
总结
本文介绍了如何使用LangChain框架构建一个完整的RAG问答系统，主要包含以下步骤：
- 向量检索：从Redis向量数据库中检索与用户问题语义相似的文本段落
- 提示工程：设计合适的提示模板，将检索结果作为上下文与用户问题一起发送给模型
- 模型调用：利用LangChain的接口调用大语言模型生成答案
- 链式处理：使用LangChain的管道操作将各个组件整合成一个端到端的工作流
这种RAG架构具有很好的可解释性和可靠性，能够基于特定的知识库回答问题，避免了大语言模型"幻觉"问题，特别适合构建企业级知识问答系统、客服助手等应用。
通过向量检索提供相关上下文，我们可以让大语言模型更准确地回答特定领域的问题，同时也能降低知识更新的成本（只需更新向量库而无需重新训练模型）。这种方案在实际应用中具有很高的灵活性和可扩展性。
题解)
_csdn - 详解)
