在有网的机器下载ollama和模型

启动服务

docker run  --rm  -it -v ./ollama:/root/.ollama -p 8000:11434 --name ollama ollama/ollama

下载模型

docker exec -it ollama ollama pull qwen:0.5b

将镜像和ollama目录复制到离线的机器中

docker启动ollama服务

验证

curl http://localhost:8000/v1/chat/completions     -H "Content-Type: application/json"     -d '{"model": "qwen:0.5b","messages": [{"role": "system","content": "You are a helpful assistant."},{"role": "user","content": "你好"}],"stream":true}'