在 Open WebUI+Ollama 上运行 DeepSeek-R1-70B 实现调用

在 Open WebUI + Ollama 上运行 DeepSeek-R1-70B 实现调用

您可以使用 Open WebUI 结合 Ollama 来运行 DeepSeek-R1-70B 模型，并通过 Web 界面进行交互。以下是完整的部署步骤。

1. 安装 Ollama

Ollama 是一个本地化的大模型管理工具，它可以在本地运行 DeepSeek-R1-70B

1.1 下载并安装 Ollama

Ubuntu / Debian

curl -fsSL https://ollama.com/install.sh | sh

MacOS（Apple Silicon / Intel）

brew install ollama

Windows
参考官方安装指南：Ollama 官网

1.2 确保 Ollama 运行正常

运行以下命令，检查 Ollama 是否安装成功：

ollama -v

如果安装成功，将返回 Ollama 的版本号。

2. 下载 DeepSeek-R1-70B 模型

在终端中运行以下命令，下载 DeepSeek-R1-70B 模型：

ollama pull deepseek-r1:70b

注意：

DeepSeek-R1-70B 需要较高的显存（>=70GB），建议使用 A100 80GB 或 H100 80GB 级别的 GPU 运行。
如果显存不足，可以使用 deepseek-r1:7b 版本：

ollama pull deepseek-r1:7b

3. 运行 DeepSeek-R1-70B

启动 DeepSeek-R1-70B：

ollama run deepseek-r1:70b

如果您希望它 以 API 方式运行，可以执行：

ollama serve

默认情况下，Ollama API 监听 http://localhost:11434 端口。

4. 安装 Open WebUI

4.1 启动 Open WebUI

运行以下 Docker 命令：

docker run -d \-p 3000:8080 \--add-host=host.docker.internal:host-gateway \-v open-webui:/app/backend/data \--name open-webui \--restart always \ghcr.io/open-webui/open-webui:main

这样 Open WebUI 就会运行在 http://localhost:3000。

4.2 连接 Ollama

进入 http://localhost:3000。
登录管理员账户（首次使用会提示创建账户）。
在左下角点击 “管理员面板” > 选择 “模型管理”。
在 “添加新模型” 处：
1. 模型名称：deepseek-r1:70b
2. API 地址：http://host.docker.internal:11434
选择 “Ollama 兼容” 模型类型。
点击 “验证连接”，如果测试成功，说明模型已正确接入。
保存配置，返回主页，即可在 Web 界面调用 DeepSeek-R1-70B。

5. 进行 DeepSeek-R1-70B 调用

在 Open WebUI 界面：

选择 deepseek-r1:70b
输入您的问题
点击发送
享受 DeepSeek-R1-70B 的智能回答

总结

安装 Ollama 并下载 deepseek-r1:70b。
运行 Ollama API (ollama serve)。
安装 Open WebUI 并连接 Ollama。
在 Web 界面中使用 DeepSeek-R1-70B 进行推理。

进阶优化

使用 Docker Compose 启动 Open WebUI + Ollama

version: "3"
services:ollama:image: ollama/ollamacontainer_name: ollamaports:- "11434:11434"restart: alwaysopen-webui:image: ghcr.io/open-webui/open-webui:maincontainer_name: open-webuiports:- "3000:8080"depends_on:- ollamaenvironment:- OLLAMA_BASE_URL=http://ollama:11434restart: always

然后运行：