【LLM】基于 Ollama 部署 DeepSeek-R1 本地大模型

 本文详细介绍如何在 LinuxWindows 环境下,通过 Docker Compose 整合 Ollama 和 Open WebUI,部署 DeepSeek-R1 大语言模型,并提供 GPU 加速支持。无论你是开发者还是 AI 爱好者,均可通过本指南快速搭建私有化 GPT 环境。

一、环境准备

1. Docker 与 Docker Compose 安装

  • Linux
    通过官方脚本安装 Docker 及 Docker Compose:

    curl -fsSL https://get.docker.com | sh
    sudo systemctl enable --now docker
    sudo curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
    sudo chmod +x /usr/local/bin/docker-compose
    
  • Windows
    下载 Docker Desktop 并安装,确保启用 WSL2 后端和 Linux 容器模式。

2. GPU 支持(可选)

若需 GPU 加速,需安装 NVIDIA Container Toolkit(Linux)或配置 Docker Desktop GPU 支持(Windows):

  • Linux
    参考 NVIDIA 官方指南安装工具包:
    sudo apt-get install -y nvidia-container-toolkit
    sudo systemctl restart docker
    
  • Windows
    确保安装 CUDA 驱动并启用 Docker Desktop 的 GPU 支持(设置 > Resources > WSL Integration)。

二、Ollama 的安装与启动

1. 直接安装方式

  • Linux
    下载二进制文件并运行:

    curl -L https://ollama.com/download/ollama-linux-amd64 -o ollama
    chmod +x ollama
    ./ollama serve
    
  • Windows

    Windows平台推荐使用官网安装包直接安装 ollama

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/77857.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深度体验两年半!MAC 硬件好物分享|屏幕、挂灯、键盘、鼠标

写在前面 最近快五一放假了,所以写点轻松一点的文章~ 这篇文章就介绍这两年半来,我一直在用MAC硬件搭子!!而买这些硬件设备的钱都是一行行代码写出来的!! 我的MAC是21款14寸 m1 pro 32512版本,22年年底在…

Python math 库教学指南

Python math 库教学指南 一、概述 math 库是 Python 标准库中用于数学运算的核心模块,提供以下主要功能: 数学常数(如 π 和 e)基本数学函数(绝对值、取整等)幂与对数运算三角函数双曲函数特殊函数&…

Mac下安装Python3,并配置环境变量设置为默认

下载Python 访问Python官方网站 https://www.python.org/ 首先获得python3安装路径 执行命令: which python3 以我这台电脑为例,路径为:/Library/Frameworks/Python.framework/Versions/3.9/bin/python3 编辑 bash_profile 文件 然后用 vim 打…

Arduino程序结构详解与嵌入式开发对比指南

Arduino编程详解:从基础到进阶实践 一、Arduino程序的核心架构与扩展设计 1.1 程序框架的深度解析 Arduino程序的基石setup()和loop()函数构成了整个开发体系的核心逻辑。这两个函数的设计哲学体现了嵌入式系统开发的两个关键维度: 初始化阶段&#…

5W1H分析法——AI与思维模型【86】

一、定义 5W1H分析法思维模型是一种通过对问题或事件从原因(Why)、对象(What)、地点(Where)、时间(When)、人员(Who)和方法(How)六个…

css 数字从0开始增加的动画效果

项目场景: 提示:这里简述项目相关背景: 在有些时候比如在做C端项目的时候,页面一般需要一些炫酷效果,比如数字会从小值自动加到数据返回的值 css 数字从0开始增加的动画效果 分析: 提示:这里填…

CUDA编程 - 如何使用 CUDA 流在 GPU 设备上并发执行多个内核 - 如何应用到自己的项目中 - concurrentKernels

如何使用 CUDA 流在 GPU 设备上并发执行多个内核 一、完整代码与例程目的1.1、通过现实场景来理解多任务协作:1.2、完整代码: 二、代码拆解与复用2.1、编程模版 一、完整代码与例程目的 项目地址:https://github.com/NVIDIA/cuda-samples/tr…

vue3 打字机效果

打字机效果 因后端返回的数据也是通过microsoft/fetch-event-source 一句一句流式返回 但是前端展示效果想要实现打字机效果 代码如下 <template><div><div class"text-container"><span class"text-content">{{ displayText }…

线上JVM调优与全栈性能优化 - Java架构师面试实战

线上JVM调优与全栈性能优化 - Java架构师面试实战 本文通过一场互联网大厂的Java架构师面试&#xff0c;深入探讨了线上JVM调优、OOM定位、死锁定位、内存和CPU调优、线程池调优、数据库调优、缓存调优、网络调优、微服务调优及分布式调优等关键领域。 第一轮提问 面试官&am…

【Android】轻松实现实时FPS功能

文章目录 实时FPS 实时FPS 初始化 choreographer Choreographer.getInstance();lastFrameTimeNanos System.nanoTime();choreographer.postFrameCallback(frameCallback);监听并显示 Choreographer.FrameCallback frameCallback new Choreographer.FrameCallback() {Overri…

GD32F407单片机开发入门(十九)DMA详解及ADC-DMA方式采集含源码

文章目录 一.概要二.GD32F407VET6单片机DMA外设特点三.GD32单片机DMA内部结构图四.DMA各通道请求五.GD32F407VET6单片机ADC-DMA采集例程六.工程源代码下载七.小结 一.概要 基本概念&#xff1a; DMA是Direct Memory Access的首字母缩写,是一种完全由硬件执行数据交换的工作方式…

vue报错:Error: Cannot find module ‘is-stream‘

此错误提示 Cannot find module ‘is-stream’ 表明 Node.js 无法找到 is-stream 模块。一般而言&#xff0c;这是由于项目中未安装该模块所导致的。 解决方案: //npm npm install is-stream //yarn yarn add is-stream安装后检查 安装完成之后&#xff0c;你可以再次运行项目…

全局事件总线EventBus的用法

全局事件总线 EventBus 在前端开发中是一种用于实现组件间通信的机制&#xff0c;适用于兄弟组件或跨层级组件间的数据传递。 1. 创建全局 EventBus 实例 在前端项目中&#xff0c;先创建一个全局的 EventBus 实例。在 Vue 中&#xff0c;可以通过创建一个新的 Vue 实例来实现…

SpringBoot 设置HTTP代理访问

SpringBoot 设置HTTP代理访问 遇到这样的一个场景&#xff0c;代码部署到私有服务器上去之后&#xff0c;这台私有服务器a无法直接访问公网&#xff0c;需要通过代理转发到另外一台专门访问公网的服务器b, 让服务器b去请求对应的公网ip&#xff0c;于是就需要设置Http代理。 …

在C# WebApi 中使用 Nacos01:基础安装教程和启动运行

一、JDK的安装 Nacos需要依赖JAVA环境运行,所以需要先安装JDK 1.检查是否安装 可用命令行检查是否安装JDK 直接win+r,cmd: java -version 出现这个说明安装成功 2.下载JDK 访问官网点击下载:

cURL 入门:10 分钟学会用命令行发 HTTP 请求

curl初识 curl 通过 URL 传输数据的命令行工具和库是一个非常强大的命令行工具&#xff0c;用于在网络上传输数据。它支持众多的协议&#xff0c;像 dict file ftp ftps gopher gophers http https imap imaps ipfs ipns ldap ldaps mqtt pop3 pop3s rtsp smb smbs smtp smtps…

Redis应用场景实战:穿透/雪崩/击穿解决方案与分布式锁深度剖析

一、缓存异常场景全解与工业级解决方案 1.1 缓存穿透&#xff1a;穿透防御的三重门 典型场景 恶意爬虫持续扫描不存在的用户ID 参数注入攻击&#xff08;如SQL注入式查询&#xff09; 业务设计缺陷导致无效查询泛滥 解决方案进化论 第一层防护&#xff1a;布隆过滤器&am…

C# 高效操作excel文件

C#高效操作Excel文件指南 一、主流Excel处理方案对比 方案类型特点适用场景​​EPPlus​​第三方库功能全面&#xff0c;性能好&#xff0c;支持.xlsx复杂Excel操作&#xff0c;大数据量​​NPOI​​第三方库支持.xls和.xlsx&#xff0c;功能全面兼容旧版Excel文件​​Closed…

Rust 学习笔记:结构体(struct)

Rust 学习笔记&#xff1a;结构体&#xff08;struct&#xff09; Rust 学习笔记&#xff1a;结构体&#xff08;struct&#xff09;结构体的定义和实例化使用字段初始化简写用 Struct Update 语法从其他实例创建实例使用没有命名字段的元组结构来创建不同的类型没有任何字段的…

Dify Agent节点的信息收集策略示例

Dify Agent节点的信息收集策略示例 0. 安装"对话 Agent"插件1. 创建一个 Chatflow2. 创建一个 Agent 节点3. 创建一个条件分支节点4. 在IF分支创建一个LLM节点5. 创建一个直接回复节点6. 在ELSE分支创建一个直接回复节点7. 分布并预览 0. 安装"对话 Agent"…