Qwen3-1.7B实战教程：结合向量数据库实现语义搜索增强

1. 引言

1.1 学习目标

本文旨在通过一个完整的实践案例，帮助开发者掌握如何将轻量级大语言模型 Qwen3-1.7B 与向量数据库相结合，构建具备语义理解能力的智能搜索系统。学习完成后，读者将能够：

理解 Qwen3-1.7B 模型的基本调用方式
掌握 LangChain 框架集成本地部署 LLM 的方法
实现文本嵌入生成与向量存储
构建端到端的语义检索增强流程（RAG）

1.2 前置知识

建议读者具备以下基础：

Python 编程经验
对大语言模型和自然语言处理有基本了解
熟悉 Jupyter Notebook 开发环境
了解向量数据库和 Embedding 的基本概念

1.3 教程价值

随着大模型在实际业务中落地需求的增长，如何在资源受限环境下高效使用小参数模型成为关键课题。Qwen3-1.7B 作为通义千问系列中的轻量级成员，在保持良好推理能力的同时显著降低计算开销。本教程提供了一套可复用的技术路径，适用于客服问答、知识库检索、文档摘要等场景。

2. Qwen3-1.7B 模型简介

2.1 模型背景

Qwen3（千问3）是阿里巴巴集团于2025年4月29日开源的新一代通义千问大语言模型系列，涵盖6款密集模型和2款混合专家（MoE）架构模型，参数量从0.6B至235B。该系列模型在多项基准测试中表现出色，尤其在中文理解和生成任务上具有领先优势。

Qwen3-1.7B 是其中一款中等规模的密集型模型，专为边缘设备和低延迟应用场景设计。其特点包括：

高效率：可在单张消费级 GPU 上运行
强泛化：支持多轮对话、指令遵循、代码生成等多种能力
易部署：提供标准 API 接口，兼容 OpenAI SDK 调用方式

2.2 技术定位

相较于百亿级以上的大模型，Qwen3-1.7B 更适合以下场景：

私有化部署需求强烈的企业应用
需要快速响应的实时交互系统
成本敏感型项目或原型验证阶段

通过与向量数据库结合，可以有效弥补小模型在知识容量上的不足，实现“以检索补知识”的增强策略。

3. 环境准备与模型调用

3.1 启动镜像并打开 Jupyter

本文假设您已通过 CSDN 提供的 AI 镜像平台启动了包含 Qwen3-1.7B 的容器实例。典型操作流程如下：

登录 CSDN 星图 AI 平台
选择预置的Qwen3相关镜像模板
配置 GPU 资源后启动实例
进入 Web 终端，启动 Jupyter Lab 或 Notebook
创建新.ipynb文件开始开发

注意：确保容器暴露的端口（如 8000）已在安全组中开放，并可通过 HTTPS 访问。

3.2 使用 LangChain 调用 Qwen3-1.7B

LangChain 是当前主流的大语言模型应用开发框架，支持多种 LLM 的统一接口调用。尽管 Qwen3 并非 OpenAI 官方模型，但其 API 兼容 OpenAI 格式，因此可借助ChatOpenAI类进行封装调用。

from langchain_openai import ChatOpenAI import os chat_model = ChatOpenAI( model="Qwen3-1.7B", temperature=0.5, base_url="https://gpu-pod69523bb78b8ef44ff14daa57-8000.web.gpu.csdn.net/v1", # 当前 jupyter 的地址替换，注意端口号为8000 api_key="EMPTY", extra_body={ "enable_thinking": True, "return_reasoning": True, }, streaming=True, ) # 测试模型连通性 response = chat_model.invoke("你是谁？") print(response.content)

参数说明：

参数	说明
`model`	指定调用的模型名称，需与后端注册名一致
`temperature`	控制输出随机性，值越高越发散
`base_url`	指向本地部署模型的服务地址
`api_key`	因无需认证，设为`"EMPTY"`
`extra_body`	扩展字段，启用思维链（CoT）推理模式
`streaming`	是否开启流式输出，提升用户体验

执行上述代码后，若成功返回模型身份介绍，则表明连接正常。

4. 向量数据库集成与语义搜索实现

4.1 文本嵌入模型选择

为了实现语义级别的相似度匹配，我们需要将原始文本转换为向量表示。虽然 Qwen3 本身具备生成 Embedding 的潜力，但在当前部署环境中更推荐使用专用的小型嵌入模型，例如：

text2vec-large-chinese
bge-small-zh-v1.5
paraphrase-multilingual-MiniLM-L12-v2

这些模型专为中文语义编码优化，且内存占用小，适合与 Qwen3-1.7B 协同工作。

安装依赖包：

pip install langchain-huggingface sentence-transformers chromadb

加载嵌入模型：

from langchain_huggingface import HuggingFaceEmbeddings embed_model = HuggingFaceEmbeddings( model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2" )

4.2 初始化向量数据库

我们选用 ChromaDB 作为本地向量数据库，因其轻量、无服务器架构且易于集成。

import chromadb from langchain_community.vectorstores import Chroma # 创建客户端 client = chromadb.PersistentClient(path="./chroma_db") # 初始化向量存储 vectorstore = Chroma( collection_name="knowledge_base", embedding_function=embed_model, client=client )

4.3 数据注入与索引构建

准备一批示例知识数据用于测试：

documents = [ "通义千问是由阿里巴巴研发的超大规模语言模型。", "Qwen3-1.7B 是千问系列中的轻量级模型，适合本地部署。", "语义搜索通过向量化技术实现意图匹配，而非关键词匹配。", "ChromaDB 是一个开源的向量数据库，支持持久化存储。", "LangChain 提供了丰富的工具链，便于构建 LLM 应用程序。" ] # 使用 LangChain 的 Document 封装 from langchain.schema import Document docs = [Document(page_content=doc) for doc in documents] # 写入向量数据库 vectorstore.add_documents(docs) print("知识库构建完成！共写入", len(docs), "条记录。")

4.4 实现检索增强生成（RAG）

现在我们将用户查询先送入向量库进行语义检索，再将相关上下文拼接给 Qwen3-1.7B 进行回答生成。

from langchain_core.prompts import ChatPromptTemplate from langchain_core.runnables import RunnablePassthrough # 定义提示词模板 template = """你是一个智能助手，请根据以下上下文信息回答问题： {context} 问题：{question} 请用简洁明了的语言作答。 """ prompt = ChatPromptTemplate.from_template(template) # 构建检索器 retriever = vectorstore.as_retriever(search_kwargs={"k": 2}) # 构建 RAG 链 rag_chain = ( {"context": retriever, "question": RunnablePassthrough()} | prompt | chat_model ) # 测试语义搜索增强效果 query = "Qwen3-1.7B 有什么特点？" response = rag_chain.invoke(query) print("回答：", response.content)

输出结果应能准确反映知识库中关于 Qwen3-1.7B 的描述，证明语义检索机制生效。