【AI】在Ubuntu中使用docker对DeepSeek的部署与使用

这篇文章前言是我基于部署好的deepseek-r1:8b模型跑出来的

关于部署DeepSeek的前言与介绍

在当今快速发展的技术环境中，有效地利用机器学习工具来解决问题变得越来越重要。今天，我将引入一个名为DeepSeek 的工具，它作为一种强大的搜索引擎，不仅能够帮助我们更高效地定位所需信息，还能通过自动化的方式提供深度的分析和见解。

DeepSeek简介

DeepSeek 是一款基于先进人工智能技术开发的搜索引擎，它结合了最先进的自然语言处理和大数据分析能力，能够为用户提供高度个性化的搜索体验。与传统搜索引擎不同，DeepSeek不仅会根据关键词匹配结果，还能理解用户的意图，自动调整搜索策略，以满足特定需求。

为什么选择部署DeepSeek

在我的项目中，我需要处理大量的数据，寻找特定的模式和趋势。传统的方法往往效率低下且耗时较长，而通过部署DeepSeek，可以将其集成到现有的工作流程中，自动化地进行信息检索和分析。这不仅能够提高效率，还能减少人为错误，确保数据处理的准确性。

部署目标

本文旨在详细描述我对DeepSeek 的部署过程、初步体验以及实际应用中的效果。通过分享我的经验，我希望能为其他用户提供有价值的参考，同时展示机器学习工具在日常工作中的潜力和便利性。

首先是环境介绍

我的笔记本安装了ubuntu系统，所以我直接在ubuntu下使用docker快速部署ollama
GPU：RTX 2060 6G
CPU：AMD R7 4800H
MEM：DDR4 3200 8x2 16G
Docker Server Version: 25.0.2
在这里插入图片描述

准备工作

安装docker脚本，使用root权限，需要联网

#!/bin/bash
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
apt update#安装指定版本 这里我选择25.2版本，使用稍微靠后一点的版本，稳定性更好
apt-get install docker-ce=5:25.0.2-1~ubuntu.20.04~focal
apt-mark hold docker-ce docker-ce-cli
# docker 要使用gpu设备需要安装驱动
curl -s -L https://nvidia.github.io/nvidia-container-runtime/gpgkey |   sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-container-runtime/$distribution/nvidia-container-runtime.list |   sudo tee /etc/apt/sources.list.d/nvidia-container-runtime.list
sudo apt-get update
sudo apt-get install nvidia-container-runtime#安装二进制包docker-compose
wget https://ghfast.top/https://github.com/docker/compose/releases/download/v2.27.3/docker-compose-linux-x86_64
chmod +x  docker-compose-linux-x86_64
mv docker-compose-linux-x86_64 /usr/local/bin/docker-composemkdir /etc/docker/
#写入镜像加速配置
sudo tee /etc/docker/daemon.json <<-'EOF'
{"registry-mirrors": ["https://docker.m.daocloud.io","https://docker.1ms.run","https://docker-0.unsee.tech","https://docker.hlmirror.com","https://func.ink"]}
EOFsystemctl daemon-reload
systemctl enable docker
systemctl start dockersystemctl status docker

拉取镜像

# web前端服务
docker pull ghcr.io/open-webui/open-webui:main      
# ollama服务
docker pull ollama/ollama:0.5.7

编排文件

#创建网络
docker  network create --subnet 172.20.0.0/16  ollama-net
#创建目录
mkdir {ollamadeamon,ollamawebui}#目录结构如下，将下面给出的文件写入docker-compose.yaml
luobozi@lenoud:~/docker$ tree -L 2
├── ollamadeamon   
│   └── docker-compose.yaml  #ollamadeamon目录下docker-compose.yaml文件
├── ollamawebui
│   ├── docker-compose.yaml  #ollamawebui目录下docker-compose.yaml文件

ollamadeamon-docker-compose.yaml

version: "3.3"
services:ollama:image: ollama/ollama:0.5.7container_name: ollama-deamonhostname: ollama-deamonrestart: unless-stoppedports:- 11434:11434networks:- ollama-nettty: truevolumes:- ./data:/root/.ollamadeploy:# 添加 GPU 资源配置resources:reservations:devices:- capabilities:- gpuenvironment:# 可选：设置 CUDA 环境变量- NVIDIA_VISIBLE_DEVICES=all # 使容器可以访问所有 GPU- NVIDIA_DRIVER_CAPABILITIES=compute,utility # 启用计算和工具功能
networks:ollama-net:external: true

ollamawebui-docker-compose.yaml

version: "3.3"
services:open-webui:image: ghcr.io/open-webui/open-webui:maincontainer_name: ollama-webuihostname: ollama-webuirestart: unless-stoppednetworks:- ollama-netports:- 3000:8080extra_hosts:- host.docker.internal:host-gatewayvolumes:- ./data:/app/backend/dataenvironment:- ENABLE_OPENAI_API=False- ENABLE_RAG_WEB_SEARCH=True- RAG_WEB_SEARCH_ENGINE="duckduckgo"- RAG_WEB_SEARCH_RESULT_COUNT=3- RAG_WEB_SEARCH_CONCURRENT_REQUESTS=10
networks:ollama-net:external: true

启动容器

进入对应的docker-compose.yaml文件所在目录下运行命令启动容器
cd ./ollamadeamon
docker-compose up -dcd ../ollamawebui
docker-compose up -d

拉取deepseek模型

#进入容器
docker exec -it ollama-deamon bash#拉取14b模型，按照你的配置和需要拉取即可
ollama pull deepseek-r1:14b#下载好后，运行模型
ollama run deepseek-r1:14b

在这里插入图片描述

访问本地前端

访问 http://localhost:3000，设置用户名和密码
在这里插入图片描述
选择下载好的模型使用即可
在这里插入图片描述

8b模型使用示例

前端代码预览

在这里插入图片描述

整体回答

在这里插入图片描述

推导过程

在这里插入图片描述

GPU 使用情况

在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/894988.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

代码随想录算法【Day39】

代码随想录算法【Day39】

Day39 198.打家劫舍 class Solution { public:int rob(vector<int>& nums) {if (nums.size() 0) return 0;if (nums.size() 1) return nums[0];vector<int> dp(nums.size());dp[0] nums[0];dp[1] max(nums[0], nums[1]);for (int i 2; i < nums.size…
阅读更多...
TCP三次握手全方面详解

TCP三次握手全方面详解

文章目录 (1) 三次握手各状态CLOSE状态SYN_SENT状态SYN_RECV状态ESTABLISHED状态 (2) 为什么握手时的seqnum是随机值&#xff0c;以及acknum的功能(3) 三次握手中的半连接队列&#xff08;SYN队列&#xff09;和全连接队列&#xff08;ACCEPT队列&#xff09;半连接队列全连接队…
阅读更多...
数据结构与算法-递归

数据结构与算法-递归

单路递归 二分查找 /*** 主函数&#xff1a;执行二分查找。* * param a 要搜索的数组&#xff08;必须是已排序的&#xff09;* param target 目标值* return 返回目标值在数组中的索引&#xff1b;如果未找到&#xff0c;则返回 -1*/ public static int binarySearch(int[] …
阅读更多...
软中断和tasklet的区别是什么？

软中断和tasklet的区别是什么？

软中断和 tasklet 都是 Linux 内核中用于实现异步事件处理的机制&#xff0c;它们的主要区别如下&#xff1a; 实现机制 软中断&#xff1a;是一种基于软件触发的中断机制&#xff0c;在内核中是一组静态定义的、预先分配好的软中断向量。每个软中断都有一个唯一的编号和对应…
阅读更多...
Termux安装ssh实现电脑ssh

Termux安装ssh实现电脑ssh

Termux下载 点击下载 在 Termux 中安装并使用 SSH&#xff0c;按照以下步骤操作&#xff1a; 1. 更新软件包列表 pkg update && pkg upgrade2. 安装 OpenSSH pkg install openssh3. 设置 SSH 密码&#xff08;必须&#xff0c;否则无法使用 SSH 服务器&#xff09…
阅读更多...
深入理解 C++17 std::is_swappable

深入理解 C++17 std::is_swappable

文章目录 深入理解 C17 std::is_swappable引言std::is_swappable 概述std::is_swappable 的工作原理std::is_swappable 的变体注意事项结论 深入理解 C17 std::is_swappable 引言 在 C 编程中&#xff0c;交换两个对象的值是一个常见的操作。为了确保代码的通用性和安全性&am…
阅读更多...
51单片机之冯·诺依曼结构

51单片机之冯·诺依曼结构

一、概述 8051系列单片机将作为控制应用最基本的内容集成在一个硅片上&#xff0c;其内部结构如图4-1所示。作为单一芯片的计算机&#xff0c;它的内部结构与一台计算机的主机非常相似。其中微处理器相当于计算机中的CPU&#xff0c;由运算器和控制器两个部分构成&#xff1b;…
阅读更多...
w~Transformer~合集5

w~Transformer~合集5

我自己的原文哦~ https://blog.51cto.com/whaosoft/12406495 #transformer~x1 太可怕了都到6了 太强~~ DeepMind 表示&#xff0c;他们提出的算法蒸馏&#xff08;AD&#xff09;是首个通过对具有模仿损失的离线数据进行顺序建模以展示上下文强化学习的方法。同时基于观察…
阅读更多...
c#对接deepseek 聊天AI接口

c#对接deepseek 聊天AI接口

注意&#xff1a;不是免费 对接文档&#xff1a;对话补全 | DeepSeek API Docs 注册地址&#xff1a;DeepSeek 申请key 在线请求示例 apifox deepseek - deepseek
阅读更多...
23.PPT：校摄影社团-摄影比赛作品【5】

23.PPT：校摄影社团-摄影比赛作品【5】

目录 NO12345​ NO6 NO7/8/9/10​ 单元格背景填充表格背景填充文本框背景填充幻灯片背景格式设置添加考生文件夹下的版式 NO12345 插入幻灯片和放入图片☞快速&#xff1a;插入→相册→新建相册→文件→图片版式→相框形状→调整边框宽度左下角背景图片&#xff1a;视图→…
阅读更多...
创新领先！珈和科技获评省级企业技术中心

创新领先！珈和科技获评省级企业技术中心

为充分发挥中小企业创新主体作用&#xff0c;提高自主创新、集成创新和引进消化吸收再创新能力&#xff0c;增强创新驱动发展的动力&#xff0c;做好专精特新“小巨人”企业的培育工作。 近日&#xff0c;湖北省经信厅对申报2024年湖北省中小企业技术中心的企业进行审核认定并…
阅读更多...
Android车机DIY开发之软件篇(十二)编译Automotive OS错误(3)

Android车机DIY开发之软件篇(十二)编译Automotive OS错误(3)

Android车机DIY开发之软件篇(十二)编译Automotive OS错误(3) 问题 [ 85% 113538/132897] //hardware/interfaces/neuralnetworks/1.1/utils:neuralnetworks_utils_hal_1_1 clang src/Device.cpp [ 85% 113539/132897] //hardware/interfaces/neuralnetworks/1.1/utils:neural…
阅读更多...
初次体验Tauri和Sycamore (2)

初次体验Tauri和Sycamore (2)

原创作者&#xff1a;庄晓立&#xff08;LIIGO&#xff09; 原创时间&#xff1a;2025年2月8日&#xff08;首次发布时间&#xff09; 原创链接&#xff1a;https://blog.csdn.net/liigo/article/details/145520637 版权所有&#xff0c;转载请注明出处。 关键词&#xff1a;Sy…
阅读更多...
iPhone 在华销量大幅下挫

iPhone 在华销量大幅下挫

iPhone在乔布斯时代缔造的神话在中国正逐渐走向没落&#xff0c;挤牙膏式的升级方式类似于诺基亚的N70系列&#xff0c;毫无新意的创新能力&#xff0c;求稳着陆的经营理念&#xff0c;工艺和美学不再独领风骚&#xff0c;甚至拍照领域和AI增强计算&#xff0c;折叠屏等技术领域…
阅读更多...
vs封装dll 给C#使用

vs封装dll 给C#使用

一&#xff0c;vs创建控制台应用 创建控制台应用得好处时&#xff0c;我们可以自己测试接口&#xff0c;如果接口没有问题&#xff0c;改成dll重新编译一遍就可以。 二&#xff0c; 创建一个c 类&#xff0c;将所需提供得功能 封装到类中。 这样可以将 所有功能&#xff0c;进…
阅读更多...
悬链线的方程及其推导过程

悬链线的方程及其推导过程

悬链线的方程及其推导过程 悬链线是描述理想链条或柔软绳索在重力作用下的自然形态的数学曲线。其特征在于&#xff1a;如果将一根均匀、不可伸长的链条两端悬挂在固定点上&#xff0c;链条所呈现的形状就会遵循一种特殊的曲线&#xff0c;这个曲线就是悬链线。 悬链线的方程…
阅读更多...
紧跟潮流，将 DeepSeek 集成到 VSCode

紧跟潮流，将 DeepSeek 集成到 VSCode

Visual Studio Code&#xff08;简称 VSCode&#xff09;是一款由微软开发的免费开源代码编辑器&#xff0c;自 2015 年发布以来&#xff0c;凭借其轻便、强大、且拥有丰富扩展生态的特点&#xff0c;迅速成为了全球开发者的首选工具。VSCode 支持多平台操作系统&#xff0c;包…
阅读更多...
算法基础之八大排序

算法基础之八大排序

文章目录 概要1. 冒泡排序&#xff08;Bubble Sort&#xff09;2. 选择排序&#xff08;Selection Sort&#xff09;3. 插入排序&#xff08;Insertion Sort&#xff09;4. 希尔排序&#xff08;Shell Sort&#xff09;5. 归并排序&#xff08;Merge Sort&#xff09;6. 快速排…
阅读更多...
html 列动态布局

html 列动态布局

样式说明&#xff1a; /* 列动态布局&#xff0c;列之间以空格填充 */ li {display: flex;/* flex-direction: column; */justify-content: space-between; }
阅读更多...
（python）如何看自己安装的包的版本

（python）如何看自己安装的包的版本

linux pip list | grep "numpy\|scipy\|tensorflow\|keras"windows环境下 pip list | findstr "numpy scipy tensorflow keras"输出 numpy 1.13.1 scipy 0.19.1 tensorflow-cpu 2.4.0 tensorflow-estimator 2.4.0 tensorflow-gpu 2.4.0
阅读更多...
最新文章

Copyright @ 2022~2023