Qwen3-1.7B文档问答系统搭建：RAG集成详细步骤

1. 认识Qwen3-1.7B模型

Qwen3（千问3）是阿里巴巴集团于2025年4月29日开源的新一代通义千问大语言模型系列，涵盖6款密集模型和2款混合专家（MoE）架构模型，参数量从0.6B至235B。其中，Qwen3-1.7B作为轻量级但性能出色的成员，特别适合部署在资源有限的环境中进行高效推理任务。

这款模型不仅具备强大的语言理解与生成能力，还支持多种应用场景，如智能客服、内容创作、代码生成等。更重要的是，由于其体积适中，在本地或边缘设备上运行时延迟低、响应快，非常适合用于构建实时交互系统，比如本文将要介绍的文档问答系统。

与其他大型模型相比，Qwen3-1.7B在保持较高准确率的同时显著降低了硬件需求，使得中小企业甚至个人开发者也能轻松部署和调用。结合RAG（Retrieval-Augmented Generation）技术，我们可以让该模型“阅读”指定文档后精准作答，极大提升信息检索的智能化水平。

2. 环境准备与镜像启动

2.1 启动CSDN星图AI镜像

要使用Qwen3-1.7B搭建文档问答系统，首先需要一个支持GPU推理的环境。推荐使用CSDN星图平台提供的预置AI镜像，它已经集成了必要的依赖库和模型服务。

操作步骤如下：

登录 CSDN星图AI平台
搜索并选择包含Qwen3系列模型的镜像（例如：“通义千问-Qwen3推理镜像”）
创建实例并分配GPU资源
实例启动成功后，点击“打开JupyterLab”

等待几秒钟，你将进入一个完整的Python开发环境，所有模型服务均已就绪。

2.2 验证模型服务是否正常运行

默认情况下，模型服务通过FastAPI暴露在8000端口。你可以通过访问以下地址确认服务状态：

https://your-instance-id-8000.web.gpu.csdn.net/v1/models

返回结果应包含类似"model_name": "Qwen3-1.7B"的信息，表示模型已加载完成。

3. 使用LangChain调用Qwen3-1.7B

LangChain是一个强大的框架，能够帮助我们快速集成大语言模型与外部数据源。接下来我们将演示如何通过LangChain调用Qwen3-1.7B，并启用思维链（Thinking Process）功能以增强回答逻辑性。

3.1 安装必要依赖

如果镜像未预装相关包，请先安装：

pip install langchain-openai tiktoken

注意：虽然名为langchain-openai，但它也支持任何兼容OpenAI API格式的服务接口。

3.2 初始化Chat模型实例

以下是调用Qwen3-1.7B的核心代码：

from langchain_openai import ChatOpenAI import os chat_model = ChatOpenAI( model="Qwen3-1.7B", temperature=0.5, base_url="https://gpu-pod69523bb78b8ef44ff14daa57-8000.web.gpu.csdn.net/v1", # 替换为你的实际Jupyter地址 api_key="EMPTY", extra_body={ "enable_thinking": True, "return_reasoning": True, }, streaming=True, ) # 测试调用 response = chat_model.invoke("你是谁？") print(response.content)

关键参数说明
base_url：必须替换为你当前实例的实际URL，确保端口号为8000
api_key="EMPTY"：表示无需认证（部分镜像默认关闭鉴权）
extra_body中启用了“思维链”模式，模型会展示推理过程
streaming=True：开启流式输出，用户体验更流畅

执行上述代码后，你应该能看到类似以下回复：

我是通义千问3（Qwen3），由阿里巴巴研发的大语言模型。我可以协助你回答问题、撰写文本、编程等任务。

这表明模型调用成功！

4. 构建基于RAG的文档问答系统

现在我们进入核心环节——将Qwen3-1.7B与RAG技术结合，打造一个能“读懂”文档并据此回答问题的智能系统。

4.1 RAG基本原理简述

RAG（检索增强生成）的工作流程分为两步：

检索：根据用户提问，在知识库中查找最相关的段落
生成：将原始问题 + 检索到的内容一起输入LLM，生成最终答案

这种方式避免了模型“凭空编造”，大幅提高回答准确性。

4.2 准备文档数据

假设我们要让模型基于一份PDF说明书提供问答服务。首先上传文件到Jupyter工作目录，例如命名为manual.pdf。

然后使用PyPDF2提取文本内容：

import PyPDF2 def read_pdf(file_path): with open(file_path, 'rb') as f: reader = PyPDF2.PdfReader(f) text = "" for page in reader.pages: text += page.extract_text() return text raw_text = read_pdf("manual.pdf")

4.3 文本分块与向量化

为了便于检索，我们需要对文档进行切片并向量化存储。

from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.vectorstores import FAISS # 分割文本 text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100) texts = text_splitter.split_text(raw_text) # 使用本地嵌入模型 embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2") # 构建向量数据库 vectorstore = FAISS.from_texts(texts, embeddings)

4.4 实现检索+生成流程

from langchain_core.prompts import ChatPromptTemplate from langchain_core.runnables import RunnablePassthrough # 定义提示词模板 template = """根据以下上下文信息回答问题： {context} 问题: {question} """ prompt = ChatPromptTemplate.from_template(template) # 创建检索器 retriever = vectorstore.as_retriever() # 构建RAG链 rag_chain = ( {"context": retriever, "question": RunnablePassthrough()} | prompt | chat_model ) # 测试问答 result = rag_chain.invoke("这个设备怎么初始化？") print(result.content)

当你输入一个问题时，系统会自动从PDF中找到相关内容，并交由Qwen3-1.7B生成专业、准确的回答。

5. 优化建议与常见问题

5.1 性能优化技巧

调整chunk大小：对于技术文档，建议chunk_size=500~800，保留完整语义单元
更换嵌入模型：若中文效果不佳，可尝试paraphrase-multilingual-MiniLM-L12-v2
缓存向量库：训练完成后保存FAISS索引，避免重复处理

vectorstore.save_local("faiss_index_manual") # 加载时使用 FAISS.load_local(...)

5.2 常见问题排查

问题现象	可能原因	解决方法
调用超时	base_url错误或服务未启动	检查Jupyter URL及端口
返回乱码	编码问题或模型崩溃	重启Kernel，重新加载模型
检索不准	分块不合理或嵌入模型不匹配	尝试不同splitter策略
回答空洞	上下文未传入	检查rag_chain构造逻辑