1、算力云租用一张4090显卡
算力云地址：https://autodl.com/console/instance/list?
tag_id=&_random_=1760162242450
2、在魔塔社区找到千问大模型下载地址，拷贝下载方式，使用sdk下载
https://www.modelscope.cn/models/Qwen/Qwen3-8B
4090显卡只支持8B大模型
3、打开算力云，创建download.py文件
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen3-8B', cache_dir='/root/autodl-tmp/models', revision='master')
4、pip install modelscope 后运行python ~/autodl-tmp/code/download.py
5、pip install vllm，使用vllm部署，vllm支持高并发，ollama有风险
6、python -m vllm.entrypoints.openai.api_server \
--model /root/autodl-tmp/models/Qwen/Qwen3-8B \
--served-model-name qwen3-8b \
--max-model-len 8k \
--host 0.0.0.0 \
--port 6006 \
--dtype bfloat16 \
--gpu-memory-utilization 0.8 \
--enable-auto-tool-choice \
--tool-call-parser hermes
使用命令启动大模型
