5分钟快速部署Qwen3-Reranker-0.6B：vLLM+Gradio实战教程

1. 快速上手目标与前置准备

你是否正在寻找一个高效、轻量又能精准排序文本的AI模型？Qwen3-Reranker-0.6B 正是为此而生。它专为文本重排序任务设计，参数仅0.6B，却能在多语言检索、语义匹配等场景中表现出色。结合 vLLM 的高性能推理和 Gradio 的可视化界面，你可以5分钟内完成部署并开始调用。

本文将带你一步步完成从环境搭建到Web UI验证的全过程，无需复杂配置，适合刚入门的大模型实践者。即使你是第一次接触重排序模型或vLLM框架，也能轻松跟上。

你能学到什么？

如何一键启动 Qwen3-Reranker-0.6B 模型服务
使用 Docker 快速构建运行环境（支持 Windows 和 Linux）
通过 Gradio WebUI 直观测试模型效果
获取本地 API 接口地址，便于后续集成到项目中

前置知识要求很低：

基本了解命令行操作
安装了 Docker 或 WSL（Windows 用户）

不需要懂模型结构、训练原理，也不需要手动编译源码——一切已为你打包好。

2. 环境准备与镜像拉取

2.1 下载项目文件

首先，你需要获取包含部署脚本和配置文件的项目代码。该项目由社区开发者维护，解决了当前 vLLM 尚未原生支持 Qwen3-Reranker 的问题。

打开你的终端或 PowerShell，执行以下命令下载项目：

git clone https://github.com/dengcao/Qwen3-Reranker-0.6B.git cd Qwen3-Reranker-0.6B

如果你无法使用git，也可以直接访问 GitHub 页面手动下载 ZIP 包： https://github.com/dengcao/Qwen3-Reranker-0.6B

重要提示：如果你在2025年6月20日前已下载过旧版本，请删除后重新克隆最新代码，确保兼容性。

2.2 启动容器服务

项目根目录下已内置docker-compose.yml文件，只需一条命令即可启动整个服务栈。

Windows 用户（使用 Docker Desktop + WSL）

确保你已安装 Docker Desktop 并启用 WSL2 支持。

进入项目所在目录后，在 PowerShell 中运行：

wsl cd /mnt/c/path/to/Qwen3-Reranker-0.6B docker compose up -d

请将/path/to/Qwen3-Reranker-0.6B替换为你实际存放项目的路径。

示例：若项目放在C:\Users\Admin\vLLM，则路径为/mnt/c/Users/Admin/vLLM

Linux 用户

直接在终端执行：

cd ./Qwen3-Reranker-0.6B docker compose up -d

该命令会自动拉取所需的 Docker 镜像，并以后台模式启动两个容器：

一个运行 vLLM 提供模型推理服务
另一个运行 Gradio 提供 WebUI 界面

首次运行可能需要几分钟时间下载镜像，之后每次启动只需几秒。

3. 验证服务是否正常运行

3.1 查看日志确认模型加载状态

服务启动后，可以通过查看日志来确认模型是否成功加载。

执行以下命令：

cat /root/workspace/vllm.log

如果看到类似如下输出，说明模型已成功加载并监听端口：

INFO: Started server process [PID] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:8010

这表示 vLLM 服务已在容器内部的 8010 端口启动，等待接收请求。

3.2 访问 WebUI 进行可视化测试

打开浏览器，访问：

http://localhost:7860

这是 Gradio 默认暴露的前端界面端口。你应该能看到一个简洁的文本重排序测试页面，包含两个输入框：

Query（查询语句）
Documents（候选文档列表，每行一条）

尝试输入一段中文查询和几个相关/不相关的句子，点击“Rerank”按钮，你会立即看到模型对文档的相关性打分和排序结果。

例如：

Query:
如何提高Python代码性能？

Documents:

使用NumPy代替循环进行数值计算
Python是一种解释型语言，执行速度较慢
可以考虑使用Cython或Numba优化关键函数
Django是一个流行的Python Web框架

点击排序后，模型会返回带分数的排序结果，如：

[{"text": "可以考虑使用Cython或Numba优化关键函数", "score": 0.92}, {"text": "使用NumPy代替循环进行数值计算", "score": 0.88}, {"text": "Python是一种解释型语言，执行速度较慢", "score": 0.45}, {"text": "Django是一个流行的Python Web框架", "score": 0.31}]

这表明模型能准确识别哪些内容更贴近“提升性能”的主题。

4. 调用API接口实现程序化接入

除了通过 WebUI 手动测试，你还可以将模型集成进自己的应用系统中，比如用于搜索引擎排序、问答系统匹配、推荐系统召回后重排等场景。

4.1 内部容器调用（适用于Docker内应用）

如果你的应用也运行在同一个 Docker 网络中，可通过以下地址调用：

http://host.docker.internal:8010/v1/rerank

4.2 外部程序调用（推荐本地开发调试）

从宿主机（即你的电脑）发起请求，使用：

http://localhost:8010/v1/rerank

4.3 请求示例（Python）

以下是使用requests发起重排序请求的完整代码示例：

import requests url = "http://localhost:8010/v1/rerank" headers = {"Content-Type": "application/json"} data = { "query": "什么是机器学习", "documents": [ "机器学习是人工智能的一个分支，致力于让计算机从数据中学习规律。", "Python是一种高级编程语言，广泛用于数据分析和AI开发。", "深度学习使用神经网络模拟人脑工作方式，属于机器学习的一种。", "HTML是用来构建网页结构的标记语言，与AI无关。" ], "key": "NOT_NEED" } response = requests.post(url, json=data, headers=headers) result = response.json() for item in result['results']: print(f"得分: {item['score']:.3f}, 文本: {item['text']}")

输出类似：

得分: 0.941, 文本: 机器学习是人工智能的一个分支，致力于让计算机从数据中学习规律。 得分: 0.876, 文本: 深度学习使用神经网络模拟人脑工作方式，属于机器学习的一种。 得分: 0.432, 文本: Python是一种高级编程语言，广泛用于数据分析和AI开发。 得分: 0.210, 文本: HTML是用来构建网页结构的标记语言，与AI无关。

可以看到，模型不仅理解语义相关性，还能区分概念层级，具备较强的推理能力。