这里写自定义目录标题
- 介绍
- 准备
- 安装 Ollama
- 查看CUDA需要版本
- 安装CudaToolkit
- 检查Cuda是否装好
- 二、设置Ollama环境变量
- 三、验证是否跑在GPU上
- ollama如何导入本地下载的模型
- 安装及配置docker
- 安装open-webui
- 启动open-webui
- 开始对话
介绍
Deepseek1.5b能够运行在只用cpu和gpu内存小的情况下,经过试用,电脑只使用cpu是很慢的。
准备
Docker Desktop Installer.exe
open-webui
DeepSeek-R1-Distill-Qwen-1.5B
OllamaSetup
CUDA
其中OllamaSetup下载慢,需要网盘下载
模型从modelscope下载
open-webui从gitee下载2
安装 Ollama
Ollama 的官方网站下载很慢,最好从百度网盘下载
安装完成后，打开命令行界面并输入
ollama
命令。如果屏幕上出现以下提示信息，那么恭喜你，Ollama 已经成功安装。
查看CUDA需要版本
查看当前显卡驱动中的cuda版本
有两种方法：
1. 使用控制台命令查看。
nvidia-smi 是 NVIDIA 提供的用于监控 GPU 状态的工具，也可以用来检查 CUDA 的版本。
该命令会显示 GPU 的状态和性能信息，包括驱动程序版本和 CUDA 版本。
nvidia-smi
查看显卡驱动的cuda版本
2.通过nvdia控制面板查看。桌面右键打开nvdia控制面板
查看显卡驱动的cuda版本
