解锁DeepSeek潜能:Docker+Ollama打造本地大模型部署新范式

🐇明明跟你说过:个人主页

🏅个人专栏:《深度探秘:AI界的007》 🏅

🔖行路有良友,便是天堂🔖

目录

一、引言

1、什么是Docker

2、什么是Ollama

二、准备工作

1、操作系统

2、镜像准备

三、安装

1、安装Docker

2、启动Ollama

3、拉取Deepseek大模型

4、启动Deepseek 


一、引言

1、什么是Docker

Docker:就像一个“打包好的App”

想象一下,你写了一个很棒的程序,在自己的电脑上运行得很好。但当你把它发给别人,可能会遇到各种问题:

  • “这个软件需要 Python 3.8,但我只有 Python 3.6!”

  • “我没有你用的那个库,安装失败了!”

  • “你的程序要跑在 Linux,我的电脑是 Windows!”

💡 Docker 的作用:它就像一个“打包好的 App”,把你的软件、依赖、环境、系统配置等 全部封装到一个“容器” 里,别人拿到这个容器,就能直接运行,而不用关心它内部的细节。


🚀 把 Docker 想象成“集装箱”

传统运输 vs. 集装箱运输

以前(传统部署)

  • 货物(程序)需要不同的包装方式(运行环境)

  • 货物可能损坏(环境不兼容)

  • 装卸麻烦(程序迁移难)

有了 Docker(容器部署)

  • 货物装进标准化集装箱(Docker 容器)

  • 不管运到哪里,集装箱里东西不变(程序环境一致)

  • 码头和船只可以直接装卸(轻松部署到不同系统)

Docker 让软件像“集装箱”一样标准化、可移植、易部署! 🚢

2、什么是Ollama

Ollama 是一个本地运行大语言模型(LLM)的工具,它可以让你 在自己的电脑上直接运行 AI 模型,而不需要连接云端服务器。

💡 简单来说:Ollama 让你像运行普通软件一样,轻松在本地使用 ChatGPT、Llama、Mistral、Gemma 等大语言模型。

🚀 Ollama 的核心特点

  1. 本地运行 🏠

    • 你不需要联网,也不用担心隐私问题,所有计算都在你的电脑上完成。

  2. 支持多种开源模型 📚

    • 可以运行 Llama 3、Mistral、Gemma、Code Llama 等不同的大模型。

  3. 易于安装和使用 🔧

    • 只需要几条命令,就能下载并运行 AI 模型。

  4. 轻量化优化

    • 适配 Mac(Apple Silicon)、Linux 和 Windows,支持 GPU 加速,让模型运行更快。

  5. 离线推理 🔒

    • 适合不想依赖 OpenAI API 或其他云端 AI 服务的用户。

二、准备工作

1、操作系统

这里我们使用的操作系统为Centos 7.9,配置为4核8G,大家也可以使用其他的Linux发行版本,或者使用Windows。

2、镜像准备

如果已经安装了Docker,可以提前准备好镜像,ollama/ollama,镜像比较大,拉取会耗一些时间

三、安装

1、安装Docker

1.关闭防火墙

systemctl stop firewalld && systemctl disabled firewalld

2.关闭SELinux

setenforce 0

3.更换yum源

rm -f /etc/yum.repos.d/*
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum clean all && yum makecache

4.安装依赖项

yum install -y yum-utils device-mapper-persistent-data lvm2

5. 添加Docker源

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

 6.安装Docker

yum install docker-ce -y

7.添加Docker镜像加速器

vim /etc/docker/daemon.json
# 添加如下内容
{"registry-mirrors": ["https://docker.m.daocloud.io","https://noohub.ru","https://huecker.io","https://dockerhub.timeweb.cloud","https://0c105db5188026850f80c001def654a0.mirror.swr.myhuaweicloud.com","https://5tqw56kt.mirror.aliyuncs.com","https://docker.1panel.live","http://mirrors.ustc.edu.cn/","http://mirror.azure.cn/","https://hub.rat.dev/","https://docker.ckyl.me/","https://docker.chenby.cn","https://docker.hpcloud.cloud","https://docker.m.daocloud.io"]}

8.启动Docker

systemctl start docker

2、启动Ollama

1.启动Ollama容器

docker run -itd -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
  • docker run    运行一个新的 Docker 容器
  • -itd    组合多个选项:
    • -i(保持标准输入)
    • -t(分配终端)
    • -d(后台运行容器)
  • -v ollama:/root/.ollama    挂载数据卷,把 ollama 这个 Docker 数据卷 绑定到容器的 /root/.ollama 目录,确保数据持久化(如下载的模型不会丢失)。
  • -p 11434:11434    端口映射,把 宿主机(本机)的 11434 端口 映射到 容器 内部的 11434 端口,这样宿主机可以通过 http://localhost:11434 访问 Ollama 服务。
  • --name ollama    指定 容器名称 为 ollama,方便管理和启动。
  • ollama/ollama    使用的 Docker 镜像,这里是 官方的 Ollama 镜像。

如果是使用GPU运行,则用下面的命令启动

docker run -itd --name ollama  --gpus=all -v ollama:/root/.ollama -p 11434:11434  ollama/ollama

2.查看Ollama容器

docker ps

  

3、拉取Deepseek大模型

1.进入到容器中 

docker exec -it ollama /bin/bash

2.拉取模型

ollama pull  deepseek-r1:7b

  

在官网中,有许多Deepseek的模型,这里主要是演示,所以拉取了一个较小的模型

官网地址:deepseek-r1

  

3.查看模型

ollama list

  

4、启动Deepseek 

ollama run deepseek-r1:7b

  

 💕💕💕每一次的分享都是一次成长的旅程,感谢您的陪伴和关注。希望这些文章能陪伴您走过技术的一段旅程,共同见证成长和进步!😺😺😺

🧨🧨🧨让我们一起在技术的海洋中探索前行,共同书写美好的未来!!!  

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/75545.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

uv - Guides 指南 [官方文档翻译]

文章目录 Guides 指南概述安装 Python入门安装特定版本重新安装 Python查看 Python 安装自动 Python 下载使用现有的 Python 版本 运行脚本在没有依赖的情况下运行脚本运行带有依赖的脚本创建一个Python脚本声明脚本依赖使用替代包索引锁定依赖提高可重复性使用不同的 Python 版…

根据模板将 Excel 明细数据生成 PDF 文档 | PDF实现邮件合并功能

在日常办公中,我们常常会面临这样的需求:依据特定的模板,把 Excel 里的每一条数据转化为单独的 PDF 文档,且这些 PDF 文档中的部分内容会根据 Excel 数据动态变化。这一功能不仅能高效完成任务,还支持图片的动态替换&a…

apache安装脚本使用shell建立

注意防火墙,yum,网络连接等 以下是具体的apache安装脚本 #!/bin/bash # Set Apache version to install ## author: yuan # 检查外网连接 echo "检查外网连接..." ping www.baidu.com -c 3 > /dev/null 2>&1 if [ $? -eq 0 ]; …

wordpress主题使用中常见错误汇总

在WordPress主题的使用过程中,开发者可能会遇到各种问题。下面是一些常见错误的汇总,并给出了相应的解决方法。 一、主题安装与激活错误 无法激活主题:检查主题文件是否完整,以及是否符合WordPress的主题规范。 激活主题后出现…

如何设计一个订单号生成服务?应该考虑那些问题?

如何设计一个订单号生成服务?应该考虑那些问题? description: 在高并发的电商系统中,生成全局唯一的订单编号是关键。本文探讨了几种常见的订单编号生成方法,包括UUID、数据库自增、雪花算法和基于Redis的分布式组件,并…

Springboot 集成 Flowable 6.8.0

1. 创建 Spring Boot 项目 通过 Spring Initializr(https://start.spring.io/ )创建一个基础的 Spring Boot 项目,添加以下依赖: Spring WebSpring Data JPAMySQL DriverLombok(可选,用于简化代码&#x…

《TCP/IP网络编程》学习笔记 | Chapter 22:重叠 I/O 模型

《TCP/IP网络编程》学习笔记 | Chapter 22:重叠 I/O 模型 《TCP/IP网络编程》学习笔记 | Chapter 22:重叠 I/O 模型理解重叠 I/O 模型重叠 I/O本章讨论的重叠 I/O 的重点不在于 I/O 创建重叠 I/O 套接字执行重叠 I/O 的 WSASend 函数进行重叠 I/O 的 WSA…

搭建Redis哨兵集群

停掉现有的redis集群 因为这篇文章我是在 搭建完redis主从集群之后写的,如果要是没有搭建过这些,可以直接略过。要是从我上一篇 搭建redis主从集群过来的,可以执行下。 docker compose down 查找下redis相关进程 ps -ef | grep redis 可以看…

MySQL中,聚集索引和非聚集索引到底有什么区别?

文章目录 1. 数据存储方式2. 索引结构3. 查询效率4. 索引数量5. 适用场景6. 示例说明7. 总结 在MySQL中,聚集索引和非聚集索引(也称二级索引)的区别主要体现在数据存储方式、索引结构和查询效率等方面。以下是详细对比: 1. 数据存…

看 MySQL InnoDB 和 BoltDB 的事务实现

BoltDB 事务实现 BoltDB 支持多读单写方式的并发级别 事务操作会锁表 它的 MVCC 为 2 个版本,当前版本和正在写的版本 多读:可以并发读当前版本 单写(串行写):写时拷贝当前 B 树,构建新 B 树&#xff…

08_JavaScript数据操作方法_数组

目录 一、创建一个数组 1.1 数组如何创建 字面量创建 构造函数创建 1.2 数组的长度 数组名.length 1.3 数组的索引 1.4 数组如何循环遍历 for 循环遍历 for in for of 二、数组的常用方法 (重点 面试) push 方法 unshift 方法 pop shif…

2025.3.25总结

工作:这两天工作都没啥产出,主要是工作状态不太好,周日晚上两点睡,周一晚上一点睡。熬夜伤身,但就是控制不住自己,睡前总要刷刷手机。本来想睡前看会书的,但这行为及其不稳定,抖音也…

《Python实战进阶》第33集:PyTorch 入门-动态计算图的优势

第33集:PyTorch 入门-动态计算图的优势 摘要 PyTorch 是一个灵活且强大的深度学习框架,其核心特性是动态计算图机制。本集将带您探索 PyTorch 的张量操作、自动求导系统以及动态计算图的特点与优势,并通过实战案例演示如何使用 PyTorch 实现…

初识哈希表

一、题意 给定一个整数数组 nums 和一个目标值 target,要求你在数组中找出和为目标值的那两个整数,并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是,数组中同一个元素不能使用两遍。 示例: 给定 nums [2, 7, …

23种设计模式-创建型模式-单例

文章目录 简介问题1. 确保一个类只有一个实例2. 为该实例提供全局访问点 解决方案示例重构前:重构后: 拓展volatile 在单例模式中的双重作用 总结 简介 单例是一种创建型设计模式,它可以确保一个类只有一个实例,同时为该实例提供…

python裁剪nc文件数据

问题描述: 若干个nc文件储存全球的1850-2014年月尺度的mrro数据(或其他数据),从1850-1到2014-12一共1980个月,要提取出最后35年1980.1~2014.12年也就是420个月的数据。 代码实现 def aaa(input_file,output_file,bianliang,start_index,en…

深入解析 Spring Framework 5.1.8.RELEASE 的源码目录结构

深入解析 Spring Framework 5.1.8.RELEASE 的源码目录结构 1. 引言 Spring Framework 是 Java 领域最流行的企业级开发框架之一,广泛用于 Web 开发、微服务架构、数据访问等场景。本文将深入解析 Spring Framework 5.1.8.RELEASE 的源码目录结构,帮助开…

数据清洗:基于python抽取jsonl文件数据字段

基于python抽取目录下所有“jsonl”格式文件。遍历文件内某个字段进行抽取并合并。 import os import json import time from tqdm import tqdm # 需要先安装:pip install tqdmdef process_files():# 设置目录路径dir_path r"D:\daku\关键词识别\1623-00000…

Windows 下使用 Docker 部署 Go 应用与 Nginx 详细教程

一、环境准备 1. 安装必要软件 Docker Desktop for Windows 下载地址:Docker Desktop: The #1 Containerization Tool for Developers | Docker 安装时勾选"使用 WSL 2 引擎"(推荐) WSL 2(Windows Subsystem for Li…

C# .net ai Agent AI视觉应用 写代码 改作业 识别屏幕 标注等

C# net deepseek RAG AI开发 全流程 介绍_c# 向量处理 deepseek-CSDN博客 视觉多模态大模型 通义千问2.5-VL-72B AI大模型能看懂图 看懂了后能干啥呢 如看懂图 让Agent 写代码 ,改作业,识别屏幕 标注等等。。。 据说是目前最好的免费图片识别框架 通…