一、Ollama 安装 QWen3
安装步骤
-
首先尝试运行 QWen3 模型:
ollama run qwen3
-
如果遇到版本不兼容错误(Error 412),表示需要升级 Ollama:
curl -fsSL https://ollama.com/install.sh | sh
-
验证版本:
ollama -v
确保为最新版本 0.6.6。
常见问题解决
问题:反复出现版本不兼容警告
解决方案:
-
完全卸载旧版本:
# 停止 Ollama 服务 pkill -f ollama # 删除主程序 sudo rm -f /usr/local/bin/ollama # 清除数据和模型(注意这会删除所有已下载模型) rm -rf ~/.ollama
-
重新安装最新版:
curl -fsSL https://ollama.com/install.sh | sh
-
确认版本:
ollama -v
二、配置外网访问
使用 ngrok 暴露服务
-
安装 ngrok:
curl -sSL https://ngrok-agent.s3.amazonaws.com/ngrok.asc | \sudo tee /etc/apt/trusted.gpg.d/ngrok.asc >/dev/null && \echo "deb https://ngrok-agent.s3.amazonaws.com buster main" | \sudo tee /etc/apt/sources.list.d/ngrok.list && \sudo apt update && \sudo apt install ngrok
-
配置认证令牌(从 ngrok 官网获取):
ngrok config add-authtoken <你的TOKEN>
-
启动端口转发:
ngrok http 11434 --url https://xxxx.ngrok-free.app
正常会出现以下信息:
验证外网访问
使用获得的 ngrok URL(如 https://xxxx.ngrok-free.app
)测试 API:
curl https://xxxx.ngrok-free.app/api/generate -d '{"model": "qwen3","prompt": "你好,你是谁?","stream": false
}'
注意事项
-
安全警告:直接暴露 Ollama 到公网存在风险,建议:
-
添加身份验证
-
限制访问IP
-
仅在内网使用或通过VPN访问
-
-
性能考虑:通过 ngrok 的免费隧道有带宽限制,对于大模型响应可能较慢
-
备选方案:可以考虑使用 Cloudflare Tunnel 或其他内网穿透工具替代 ngrok
-
服务管理:对于生产环境,建议配置 ngrok 为系统服务:
sudo systemctl enable ngrok sudo systemctl start ngrok
如需更长期稳定的域名,建议升级 ngrok 付费计划或使用自有域名配置。