【DeepSeek】Ubuntu快速部署DeepSeek(Ollama方式)

文章目录

  • 人人都该学习的DeepSeek
  • DeepSeek不同版本功能差异
  • DeepSeek与硬件直接的关系
  • DeepSeek系统兼容性
  • 部署方式选择
  • 部署步骤(Ollama方式)
    • 1.选定适合的deepseek版本
    • 2.环境准备
    • 3.安装Ollama
    • 4.部署deepseek
    • 5.测试使用

在这里插入图片描述

人人都该学习的DeepSeek

DeepSeek 作为一款先进的人工智能工具,具备强大的推理能力和广泛的应用场景,能够帮助用户高效解决复杂问题。它支持文本生成、代码编写、数据分析、情感分析等多种任务,适用于教育、医疗、金融、创意等各行各业。它的开源特性使得个人和企业能够低成本地利用其功能,推动AI技术的普及。无论是提升工作效率、辅助学习,还是解决生活中的问题,DeepSeek 都能提供智能化支持。

DeepSeek不同版本功能差异

版本特点适用场景
1.5B轻量级模型,参数量少,推理速度快,适合低资源环境。短文本生成、基础问答、移动端应用(如简单智能助手)。
7B平衡型模型,性能与资源需求适中,支持中等复杂度任务。文案撰写、表格处理、统计分析、简单代码生成。
8B性能略强于7B,优化逻辑推理和代码生成。代码生成、逻辑推理(如数学题解决)、中等复杂度文本生成。
14B高性能模型,擅长复杂任务(如数学推理、长文本生成)。数据分析、长文本生成(如研究报告)、多模态任务预处理。
32B专业级模型,支持高精度任务和大规模数据处理。语言建模、金融预测、复杂病例分析(医疗场景)。
70B顶级模型,多模态任务支持,科研级分析能力。高精度临床决策(医疗)、多模态数据分析、前沿科学研究。
671B超大规模基础模型,最高准确性和推理速度,支持国家级研究。气候建模、基因组分析、通用人工智能探索。

注:671B是我们常说的满血版deepseek。

​关键点

​1. 输入输出

  • ​短文本处理​(1.5B-7B):最大支持16k tokens,适合对话和短文生成。
  • ​长文本处理​(32B+):32k-10M tokens,可处理整本书籍或科研论文。
  • ​多模态支持:32B及以上版本实验性支持图文混合输入,671B版本实现视频流解析。

​2. 推理计算

  • ​数学能力:7B版本仅支持四则运算,32B版本可解微积分方程(准确率92%)。
  • ​代码生成:7B生成单文件脚本,14B支持全栈项目架构设计(含单元测试)。

​3. 部署

  • ​量化支持:1.5B支持8-bit量化(体积压缩至400MB),70B需保留FP16精度。
  • ​分布式训练:70B版本支持千卡并行训练(吞吐量1.2 exaFLOPs),671B版本兼容量子计算节点。

DeepSeek与硬件直接的关系

参数推荐显卡型号显存要求内存存储适用场景
1.5BNVIDIA RTX 30604-8GB8GB+3GB+ SSD低资源设备部署、简单对话
7BNVIDIA RTX 3070/40608GB+16GB+8GB+ NVMe SSD本地开发测试、中小型企业任务
8BNVIDIA RTX 30908GB+16GB+8GB+ NVMe SSD高精度轻量级任务
14BNVIDIA RTX 309016GB+32GB+15GB+ NVMe SSD企业级复杂任务、专业咨询
32BNVIDIA A100 40GB24GB+64GB+30GB+ NVMe SSD高精度专业领域任务
70BNVIDIA A100 80GB 多卡≥40GB(多卡)128GB+70GB+ NVMe SSD企业级复杂任务处理、科研
671BNVIDIA H100/HGX 集群640GB(8卡并行)512GB+400GB+ NVMe SSD超大规模科研计算、国家级项目

注:32B是一个分水岭,从该版本开始对硬件要求开始急速升高。

DeepSeek系统兼容性

操作系统兼容性与性能问题与风险工具与部署建议
Windows支持轻量级至中型模型(如7B-32B量化版)底层架构限制可能导致闪退或延迟,需关闭后台程序、更新显卡驱动推荐使用Ollama进行一键部署,结合任务管理器监控资源占用,性能较Linux低10%-15%
Linux适配全版本模型(含70B+超算级部署)需注意安全防护(88.9%未防护服务器存在漏洞风险)通过LMDeploy优化推理速度,SGLang实现多模型协同,建议Ubuntu系统,性能最优 且支持分布式计算
Mac仅支持1.5B-8B轻量模型,依赖M系列芯片NPU加速(如M2 Ultra)模型选择受限,复杂任务响应延迟显著(生成速度约2-3 tokens/秒)必须通过Ollama进行4-bit量化压缩,优先使用Metal框架加速

注:部署时Linux系统最优。

部署方式选择

  1. 优先选 Ollama 的场景
    • 快速原型开发、个人项目测试
    • 硬件资源有限(如无高端 GPU)
    • 无需复杂参数调优
  2. 优先选直接部署的场景
    • 企业级服务需高并发、低延迟响应
    • 需定制模型或优化底层计算(如 FP8 加速、MOE 负载均衡)
    • 对数据隐私和合规性要求极高

部署步骤(Ollama方式)

1.选定适合的deepseek版本

按照自己的需求选取合适的deepseek版本,可参照上文的表格内容。
选择的依据主要是:

  • 使用场景
  • 功能需要
  • 硬件限制
  • 成本要求

2.环境准备

准备好Ubuntu系统,deepseek推荐使用Ubuntu20.04及以上版本。当前示例使用的是Ubuntu18.04版本。

当前配置情况:

  • CPU:16核心
  • 内存:64Gb
  • 硬盘:128Gb
  • GPU:RTX 4090

显卡驱动准备
准备好裸机后首先更新系统:

sudo add-apt-repository ppa:graphics-drivers/ppa #18.04版本较旧,需要加上新的驱动
sudo apt update && sudo apt upgrade -y  # 更新系统包
sudo apt install nvidia-driver-535  # 安装NVIDIA驱动

安装好显卡驱动后,确认显卡运行情况:

nvidia-smi

如图所示是驱动完成。
在这里插入图片描述

CUDA环境准备

sudo apt update
sudo apt install nvidia-cuda-toolkit

3.安装Ollama

安装Ollama:

curl -fsSL https://ollama.ai/install.sh | sh  # 执行官方安装脚本

启用Ollama:

sudo systemctl start ollama  # 启动服务
ollama --version  # 输出版本号即成功

可能的问题:

1.如果下载Ollama网络慢导致异常中断,可能如下所示:

curl: (16) Error in the HTTP2 framing layer
gzip: stdin: unexpected end of file
tar: Child returned status 1
tar: Error is not recoverable: exiting now

解决方案:

curl -fsSL https://ollama.com/install.sh -o ollama_install.sh
sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux|g' ollama_install.sh
chmod +x ollama_install.sh
sudo ./ollama_install.sh

4.部署deepseek

ollama pull deepseek-r1:14b  # 下载14B参数版本

整个过程需要一些时间:
在这里插入图片描述
在这里插入图片描述

5.测试使用

测试deepseek运行情况:

ollama run deepseek-r1:14b

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/72661.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

redis热key

在 Redis 中,热 Key(Hot Key) 是指被频繁访问的 Key,可能会导致以下问题: 性能瓶颈:单个 Redis 实例的 CPU 或网络带宽被耗尽。 数据倾斜:在 Redis 集群中,热 Key 可能导致某个节点…

宇树科技嵌入式面试题及参考答案(春晚机器人的公司)

目录 设计一个带看门狗(Watchdog)的嵌入式系统,描述故障恢复流程 在资源受限的 MCU 上实现 OTA 升级功能,描述关键设计点 如何实现 OTA(空中升级)功能?描述固件校验和回滚机制的设计要点 推挽输出与开漏输出的区别?举例说明其在 GPIO 控制中的应用 UART、SPI、I2C …

Axure常用变量及使用方法详解

点击下载《Axure常用变量及使用方法详解.pdf》 摘要 Axure RP 作为一款领先的前端原型设计工具,提供了全面的 变量 和 函数 系统,以支持复杂的交互设计和动态内容展示。本文将从专业角度详细解析 Axure 中的 全局变量、中继器数据集变量/函数、元件变量…

SpringBoot - 用责任链模式实现业务编排

文章目录 前因责任链:像工作台一样组织代码CodeSEQ3.1 定义处理器规范3.2 实现具体处理器3.3 共享上下文3.4 组装责任链 适用场景优势 前因 2000多行的业务逻辑里,各种校验规则、促销计算、库存操作像意大利面条一样缠绕在一起。最要命的是这样的代码结…

upload-labs详解(13-20)文件上传分析

目录 upload-labs-env upload-labs-env第十三关 文件包含漏洞 代码 测试 上传一个.jpg图片 上传一个.png文件 上传一个.gif图片 upload-labs-env第十四关 代码 思路 upload-labs-env第十五关 代码 思路 upload-labs-env第十六关 代码 思路 测试 上传gif格式…

网络安全通信架构图

🍅 点击文末小卡片 ,免费获取网络安全全套资料,资料在手,涨薪更快 在安全通信里面我经常听到的2个东西就是SSL和TLS,这2个有什么区别呢?以及HTTPS是怎么通信的?包括对称加密、非对称加密、摘要、…

Java中的String类

目录 1. String类的重要性 2. 常用方法 2.1 字符串构造 2.2 String对象的比较 2.3 字符串查找 2.4 转化 2.5 字符串替换 2.6 字符串拆分 2.7 字符串截取 2.8 其他操作方法 2.9 字符串的不可变性 2.10 字符串修改 3. StringBuilder和StringBuffer 3.1 StringBuilde…

深度分页介绍及优化建议

深度分页介绍 查询偏移量过大的场景我们称为深度分页,这会导致查询性能较低,例如: # MySQL 在无法利用索引的情况下跳过1000000条记录后,再获取10条记录 SELECT * FROM t_order ORDER BY id LIMIT 1000000, 10 深度分页问题的原…

live555推流服务器异常

1.后端异常信息: MultiFramedRTPSink::afterGettingFrame1(): The input frame data was too large for our buffer size (100176). 48899 bytes of trailing data was dropped! Correct this by increasing "OutPacketBuffer::maxSize" to at least m…

每日OJ_牛客_宵暗的妖怪_DP_C++_Java

目录 牛客_宵暗的妖怪_DP 题目解析 C代码 Java代码 牛客_宵暗的妖怪_DP 宵暗的妖怪 描述: 露米娅作为宵暗的妖怪,非常喜欢吞噬黑暗。这天,她来到了一条路上,准备吞噬这条路上的黑暗。这条道路一共被分为n 部分&…

20250306-笔记-精读class CVRPEnv:step(self, selected)

文章目录 前言一、if self.time_step<4:控制时间步的递增判断是否在配送中心特定时间步的操作更新更新当前节点和已选择节点列表更新需求和负载更新访问标记更新负无穷掩码更新步骤状态&#xff0c;将更新后的状态同步到 self.step_state 二、使用步骤总结 前言 class CVRP…

Flowable 基本入门

flowable.7z官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘 1、Flowable介绍 Flowable是BPMN的一个基于java的软件实现&#xff0c;不过Flowable不仅仅包括BPMN&#xff0c;还有DMN决策表和CMMN Case管理引擎&#xff0c;并且有自己的用户管理、微服务API等一系列功能&a…

完全背包-一维数组

52. 携带研究材料&#xff08;第七期模拟笔试&#xff09; 题目描述 小明是一位科学家&#xff0c;他需要参加一场重要的国际科学大会&#xff0c;以展示自己的最新研究成果。他需要带一些研究材料&#xff0c;但是他的行李箱空间有限。这些研究材料包括实验设备、文献资料和…

景联文科技:以专业标注赋能AI未来,驱动智能时代的精准跃迁

在人工智能技术重塑全球产业格局的今天&#xff0c;高质量训练数据已成为驱动算法进化的核心燃料。作为数据智能服务领域的领军者&#xff0c;景联文科技深耕数据标注行业多年&#xff0c;以全栈式数据解决方案为核心&#xff0c;构建起覆盖数据采集、清洗、标注、质检及算法调…

洛谷B2074 计算星期几

B2074 计算星期几 - 洛谷 代码区&#xff1a; #include<algorithm> #include<iostream> #include<unordered_map> #include<string> using namespace std; int main() {unordered_map<int, string> m { { 1,"Monday" },{2,"Tue…

协同过滤推荐算法+微信小程序的农产品团购推荐平台(程序+论文+讲解+安装+调试+售后)

感兴趣的可以先收藏起来&#xff0c;还有大家在毕设选题&#xff0c;项目以及论文编写等相关问题都可以给我留言咨询&#xff0c;我会一一回复&#xff0c;希望帮助更多的人。 系统介绍 在当今时代&#xff0c;科学技术正以令人瞩目的速度迅猛进步&#xff0c;经济社会也随之…

十大经典排序算法简介

一 概述 本文对十大经典排序算法做简要的总结(按常用分类方式排列),包含核心思想、时间/空间复杂度及特点。 二、比较类排序 1. 冒泡排序 (BUBBLE SORT) 思想:重复交换相邻逆序元素,像气泡上浮 复杂度: 时间:O(n^2)(最好情况O(n)) 空间:O(1) 特点:简单但效率低,稳…

[自然语言处理]pytorch概述--什么是张量(Tensor)和基本操作

pytorch概述 PyTorch 是⼀个开源的深度学习框架&#xff0c;由 Facebook 的⼈⼯智能研究团队开发和维护&#xff0c;于2017年在GitHub上开源&#xff0c;在学术界和⼯业界都得到了⼴泛应⽤ pytorch能做什么 GPU加速自动求导常用网络层 pytorch基础 量的概念 标量&#xf…

Spring统一格式返回

目录 一&#xff1a;统一结果返回 1&#xff1a;统一结果返回写法 2&#xff1a;String类型报错问题 解决方法 二&#xff1a;统一异常返回 统一异常返回写法 三&#xff1a;总结 同志们&#xff0c;今天咱来讲一讲统一格式返回啊&#xff0c;也是好久没有讲过统一格式返…

【无标题】四色拓扑模型与宇宙历史重构的猜想框架

### 四色拓扑模型与宇宙历史重构的猜想框架 --- #### **一、理论基础&#xff1a;四色拓扑与时空全息原理的融合** 1. **宇宙背景信息的拓扑编码** - **大尺度结构网络**&#xff1a;将星系团映射为四色顶点&#xff0c;纤维状暗物质结构作为边&#xff0c;构建宇宙尺度…