本文详细介绍使用vLLM在本地部署大语言模型的完整流程，包括创建虚拟环境、通过ModelScope下载Qwen/Qwen3-0.6B模型、配置并运行LLM服务器，以及通过OpenAI兼容API接口调用本地模型。文章提供详细命令代码和使用示例，帮助读者实现本地大模型的部署和使用。
闲时 AI 耕作记
读完需要
4
分钟
速读仅需 2 分钟
使用 vLLM 本地化部署大模型，[安装 vLLM 教程]。
/创建虚拟环境/
mkdir -p ~/vllm cd ~/vllm python -m venv .venv # 激活虚拟环境 source ~/vllm/.venv/bin/activate/ModelScope 下载 LLM/
👀
安装依赖
pip install modelscope👀
下载 LLM
首先，在~/vllm 目录下创建 LLM 保存目录 models
mkdir -p ~/vllm/models在~/vllm 目录创建 download_model.py 文件
#模型下载 from modelscope import snapshot_download # 以Qwen/Qwen3-0.6B模型为例 model_dir = snapshot_download('Qwen/Qwen3-0.6B', cache_dir="~/vllm/models")执行 download_model.py 文件下载模型
python download_model.py/运行 LLM/
python -m vllm.entrypoints.openai.api_server \ --model ~/vllm/models/Qwen/Qwen3-0.6B \ --served-model-name qwen3-0.6b \ --max-model-len 4096 \ --host 0.0.0.0 \ --port 6006 \ --api-key aXssda \ --api-server-count 1 \ --dtype auto \ --enable-auto-tool-choice \ --tool-call-parser hermes使用 openai 兼容的 api 服务
–model 本地模型存放路径
–served-model-name API 中使用的模型名称
–max-model-len 模型上下文长度（提示和输出）。
–dtype 可选值: auto, bfloat16, float, float16, float32, half
–enable-auto-tool-choice 为支持的模型启用自动工具选择
–tool-call-parser 根据您使用的模型选择工具调用解析器，解析器参照 https://docs.vllm.com.cn/en/latest/features/tool_calling/
–host 主机名
–port 端口号，默认 8000
–api-key 如果提供，服务器将要求在请求头中提供其中一个密钥
–api-server-count 运行的 API 服务器进程数量，默认 1
完整参数请参考 https://docs.vllm.com.cn/en/latest/cli/serve/
/使用 LLM 代码/
local_llm = ChatOpenAI( model="qwen3-0.6b", # 和 --served-model-name 一致 api_key="aXssda", # 和 --api-key 一致 base_url="http://192.168.0.104:6006/v1", temperature=0.6, stream_usage=True, streaming=True, ) print(local_llm.invoke("讲一个关于猫的冷笑话"))AI大模型从0到精通全套学习大礼包
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！
如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！
01.从入门到精通的全套视频教程
包含提示词工程、RAG、Agent等技术点
02.AI大模型学习路线图（还有视频解说）
全过程AI大模型学习路线
03.学习电子书籍和技术文档
市面上的大模型书籍确实太多了，这些是我精选出来的
04.大模型面试题目详解
05.这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势，构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！
应届毕业生：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
