如何正确调用Qwen3-0.6B？LangChain代码实例详解

1. Qwen3-0.6B 模型简介

Qwen3（千问3）是阿里巴巴集团于2025年4月29日开源的新一代通义千问大语言模型系列，涵盖6款密集模型和2款混合专家（MoE）架构模型，参数量从0.6B至235B。其中，Qwen3-0.6B 是该系列中轻量级的代表，专为资源受限环境下的高效推理设计，适合部署在边缘设备、开发板或本地服务器上。

尽管参数规模较小，Qwen3-0.6B 在多项自然语言任务中表现出色，尤其在中文理解、基础问答、文本生成等场景下具备良好的语义表达能力。得益于其低延迟、高响应速度的特点，它非常适合用于快速原型验证、教学演示、轻量级AI助手开发等实际应用。

更重要的是，Qwen3 系列全面支持标准 OpenAI 兼容接口，这意味着你可以使用 LangChain、LlamaIndex 等主流框架无缝集成，无需额外封装即可完成模型调用，极大提升了开发效率。

2. 启动镜像并进入 Jupyter 开发环境

在开始调用 Qwen3-0.6B 之前，你需要先通过 CSDN 星图平台或其他支持的 AI 镜像服务启动一个预置了模型和运行环境的 GPU 容器镜像。这类镜像通常已经集成了以下组件：

Qwen3 模型服务（基于 vLLM 或 HuggingFace TGI）
JupyterLab 开发环境
LangChain、Transformers、Torch 等常用库
OpenAI 兼容 API 接口层

2.1 获取并运行镜像

2.2 访问 Jupyter 环境

点击实例详情页中的“访问链接”，你会被重定向到 JupyterLab 页面。首次登录可能需要输入临时 token 或设置密码。进入后，你可以创建新的.ipynb笔记本文件，准备编写 LangChain 调用代码。

此时，模型服务已经在后台运行，监听http://0.0.0.0:8000/v1地址，提供与 OpenAI 格式兼容的 RESTful API 接口。

3. 使用 LangChain 调用 Qwen3-0.6B 的完整示例

LangChain 是当前最流行的 LLM 应用开发框架之一，支持多种模型提供商的统一调用方式。由于 Qwen3 提供了 OpenAI 兼容接口，我们可以通过langchain_openai模块直接与其交互，就像调用 GPT-3.5 一样简单。

下面是一个完整的 Python 示例，展示如何配置并调用 Qwen3-0.6B 模型。

3.1 安装依赖（如未预装）

如果你使用的镜像未默认安装 LangChain 相关包，请先执行以下命令：

pip install langchain_openai openai

注意：虽然名为langchain_openai，但它不仅限于 OpenAI 官方服务，任何遵循 OpenAI API 协议的服务都可以使用。

3.2 初始化 ChatOpenAI 对象

from langchain_openai import ChatOpenAI import os chat_model = ChatOpenAI( model="Qwen-0.6B", temperature=0.5, base_url="https://gpu-pod694e6fd3bffbd265df09695a-8000.web.gpu.csdn.net/v1", # 替换为你的实际 Jupyter 域名 + /v1 api_key="EMPTY", # 当前服务无需真实密钥，设为 "EMPTY" 即可 extra_body={ "enable_thinking": True, "return_reasoning": True, }, streaming=True, )

参数说明：

参数	说明
`model`	指定调用的模型名称，此处填写`"Qwen-0.6B"`
`temperature`	控制输出随机性，值越高越有创意，建议范围 0.1~1.0
`base_url`	模型服务地址，必须指向`/v1`接口路径，注意替换为你自己的实例域名
`api_key`	因服务不鉴权，填`"EMPTY"`即可绕过校验
`extra_body`	扩展字段，启用“思维链”功能（`enable_thinking`）并返回中间推理过程（`return_reasoning`）
`streaming`	是否开启流式输出，设为`True`可实现逐字输出效果

3.3 发起一次基本调用

response = chat_model.invoke("你是谁？") print(response.content)

运行上述代码后，你应该能看到类似如下输出：

我是通义千问3（Qwen3），由阿里巴巴研发的大规模语言模型。我能够回答问题、创作文字、表达观点、编程等。你有什么想问我的吗？

如果启用了streaming=True，还可以结合回调函数实现实时打印效果：

def stream_output(): for chunk in chat_model.stream("请用三句话介绍你自己。"): print(chunk.content, end="", flush=True) stream_output()

这将模拟聊天机器人逐字输出的效果，提升用户体验感。

4. 关键配置解析与常见问题解决

4.1 base_url 的正确格式

很多初学者容易在这里出错。base_url必须满足以下条件：

包含协议头https://
使用你实际获得的 Jupyter 外网访问域名（不是 localhost）
端口号明确写出（通常是 8000）
结尾加上/v1路径

✅ 正确示例：

base_url="https://gpu-pod694e6fd3bffbd265df09695a-8000.web.gpu.csdn.net/v1"

❌ 错误写法：

base_url="http://localhost:8000" # 本地地址无法访问 base_url="https://your-domain.com:8000" # 缺少 /v1 base_url="/v1" # 不完整 URL

4.2 如何查看模型是否正常运行？

你可以通过浏览器或curl命令测试模型服务是否在线：

curl https://gpu-pod694e6fd3bffbd265df09695a-8000.web.gpu.csdn.net/v1/models

正常返回应包含：

{ "data": [ { "id": "Qwen-0.6B", "object": "model" } ], "object": "list" }

若无法访问，请检查镜像状态、防火墙设置或联系平台技术支持。

4.3 enable_thinking 和 return_reasoning 的作用

这两个参数是 Qwen3 特有的增强功能：

enable_thinking: 启用多步推理模式，让模型先“思考”再作答
return_reasoning: 返回完整的推理过程，便于调试和解释

例如，当你提问：“小明有5个苹果，吃了2个，又买了3个，还剩几个？”
开启后，模型可能会先输出一段内部推导逻辑，再给出最终答案。

⚠️ 注意：并非所有客户端都支持接收 reasoning 字段，LangChain 默认只提取content，如需获取完整响应体，建议改用原生openaiSDK。

5. 进阶技巧：构建简单的对话记忆系统

LangChain 不仅能单次调用模型，还能结合ChatMessageHistory实现上下文记忆，打造真正的对话机器人。

from langchain_core.messages import HumanMessage, AIMessage from langchain_core.chat_history import InMemoryChatMessageHistory from langchain_core.runnables.history import RunnableWithMessageHistory # 包装模型以支持历史记录 def predict(input_text: str, session_id: str = "default"): chain = chat_model.with_config({"session_id": session_id}) response = chain.invoke([HumanMessage(content=input_text)]) return response.content # 手动管理消息历史 history = InMemoryChatMessageHistory() while True: user_input = input("\n你：") if user_input.lower() in ["退出", "quit"]: break # 添加用户消息 history.add_user_message(user_input) # 调用模型 ai_response = chat_model.invoke(history.messages) # 添加 AI 回复 history.add_ai_message(ai_response.content) print(f"\n助手：{ai_response.content}")

这样就实现了一个带记忆的简易聊天机器人，能够在多轮对话中保持上下文连贯。