(2025)深度分析DeepSeek-R1开源的6种蒸馏模型之间的逻辑处理和编写代码能力区别以及配置要求,并与ChatGPT进行对比(附本地部署教程)

(2025)通过Ollama光速部署本地DeepSeek-R1模型(支持Windows10/11)_deepseek猫娘咒语-CSDN博客文章浏览阅读1k次,点赞19次,收藏9次。通过Ollama光速部署本地DeepSeek-R1(支持Windows10/11)_deepseek猫娘咒语 https://blog.csdn.net/m0_70478643/article/details/145486626?spm=1001.2014.3001.5501在上一篇文章中我们完成了DeepSeek-R1的光速本地部署。

我对几种可以本地部署的、个人电脑可以带得动蒸馏模型的性能进行了测试,并测试了各模型的大概配置需求。以便在本地部署时选择合适的模型。

DeepSeek-R1模型简介

首先,DeepSeek-R1开源的模型一共有以下几种:

"Distill": 意味着这些模型是通过蒸馏(knowledge distillation)的方法进行优化的。蒸馏是一种模型压缩技术,主要用于在不显著降低性能的前提下减少模型的大小和复杂度。

"Qwen"代表通义千问(阿里巴巴),可以简单理解为针对中文进行了优化适配。

"Llama"代表Meta(Facebook),也可以简单理解成是针对英文进行了优化适配。

"B"代表这个模型的规模(Model Size),x B代表这个模型使用了x十亿个参数,可以简单理解为数字越大 内存/显存 需求越高,推理效果越好(越聪明)。

我下载了全部的中文版模型进行测试。

分别测试模型性能

1.5b

1.5b逻辑推理能力测试

首先是测试1.5b模型常用的几个问题。

可以看出,1.5b非常的蠢,大略等同于2019年的GPT2.0,属于几乎不能用的状态。

1.5b硬件配置要求

优点是显存占用非常非常的少,并且可以秒回,适合硬件性能很差但仍然想尝试一下本地部署的用户。(测试用GPU是4080,本地跑模型对CPU几乎没要求,i7-9700都可以无压力跑,大模型对内存有一定要求)

7b

7b逻辑推理能力测试

对于这种问题7b可以精准回答并且不需要思考很多(占用很多token)。

但经典的数r问题就露馅了。

 和GPT当前最先进的版本4o差不多。

 因为GPT,没有对中文做适配优化,出于公平考虑,我们用英文并开启推理功能再问一遍(GPT只有o3-mini可以推理)

最终得出结论,自然语言处理能力上,7b约等于GPT 4o/o3-mini。

7b硬件配置要求

7b的显存占用也不算高,约4-5GB,1060显卡也可以跑得动,属于是性价比非常高的模型!

14b

14b逻辑推理能力测试

接下来让我们看看14b的表现

虽然正确的数出了有三个r,但是处理的并不轻松,推理过程巨长

 限于篇幅,这只是一小部分思考,它全篇检查并重新数了五次,但总算是成功数出来了。

其他常用的测试题也可以成功输出。

 14b逻辑推理能力进阶测试

 这种对人类都有些绕的题14b也能解决,反观GPT

14b的NLP能力已经远超GPT,各种AI逻辑测试题没有任何一道可以难住它。

14b代码编写能力测试

接下来测试它的代码编写能力

 完整代码如下

import cv2
import mathdef find_yellow_circles(image_path):# 读取图像img = cv2.imread(image_path)if img is None:print("无法加载图像")return# 转换为HSV颜色空间hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)# 定义黄色范围(可以根据需要调整)lower_yellow = (10, 50, 50)upper_yellow = (30, 255, 255)# 创建掩膜mask = cv2.inRange(hsv, lower_yellow, upper_yellow)# 应用形态学操作以消除噪声和连接区域kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))mask = cv2.erode(mask, kernel, iterations=1)mask = cv2.dilate(mask, kernel, iterations=2)# 查找连通区域contours, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)# 初始化结果图像result = img.copy()for contour in contours:# 计算包围圆的参数(x, y), radius = cv2.minEnclosingCircle(contour)# 计算面积area = cv2.contourArea(contour)# 计算圆形度:实际面积与理论圆形面积的比例circularity = area / (math.pi * radius**2)# 过滤非圆形区域(可以根据需要调整阈值)if circularity > 0.5:# 绘制检测到的圆圈cv2.circle(result, (int(x), int(y)), int(radius), (0, 255, 0), 2)# 显示结果图像cv2.imshow("Yellow Circles Detected", result)cv2.waitKey(0)cv2.destroyAllWindows()# 示例用法:将 image_path 替换为实际的图像路径
image_path = "path_to_your_image.jpg"
find_yellow_circles(image_path)

让我们来测试一下这个代码,原始图像如下

代码执行结果如下

 可以看出,14b的代码编写能力已经非常非常的夸张了,领先GPT至少一个大版本。

14b硬件配置要求

缺点是需要8-9GB显存,用朋友的4060 8GB版跑会超出显存,占用内存,这会导致CPU占用飙升且回答速度非常慢,但仍然可以输出。

32b

到这里几乎就是普通个人设备的终点了,接下来是32b模型。语言推理能力对于32b来说已经是无需测试了,直接测试他的代码编写能力。

32b代码编写能力测试

同样的问题32b给出的代码:

import cv2
import numpy as npdef find_yellow_circles(image_path):# 读取图像image = cv2.imread(image_path)if image is None:print("无法读取图像")return# 转换为HSV颜色空间hsv_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)# 定义黄色的范围(H在15到40之间)lower_yellow = np.array([15, 70, 70])upper_yellow = np.array([40, 255, 255])# 创建掩膜,提取黄色区域mask = cv2.inRange(hsv_image, lower_yellow, upper_yellow)# 使用形态学操作去除噪声kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5))mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)# 应用掩膜到原图像yellow_image = cv2.bitwise_and(image, image, mask=mask)# 转换为灰度图并进行边缘检测gray = cv2.cvtColor(yellow_image, cv2.COLOR_BGR2GRAY)edges = cv2.Canny(gray, 50, 150)# 使用霍夫圆变换检测圆形circles = cv2.HoughCircles(edges, cv2.HOUGH_GRADIENT, dp=1, minDist=20,param1=50, param2=30, minRadius=10, maxRadius=100)if circles is not None:# 将检测到的圆转换为整数坐标circles = np.round(circles[0]).astype(int)for (x, y, r) in circles:# 绘制圆形边界和中心点cv2.circle(image, (x, y), r, (0, 255, 0), 2)cv2.rectangle(image, (x - 5, y - 5), (x + 5, y + 5), (0, 128, 255), -1)# 显示结果cv2.imshow("Yellow Circles", image)cv2.waitKey(0)cv2.destroyAllWindows()return circlesprint("未检测到黄色圆圈")return None# 使用示例
image_path = "your_image.jpg"  # 替换为你的图像路径
find_yellow_circles(image_path)

 测试结果如下

 奇怪,效果为什么还不如14b,公平起见,再重新生成一次!

这次倒是成功了,我又测试了大概五次,发现32b的代码编写能力并没有显著强于14b。

32b硬件配置要求

然而32b对硬件要求很高,我的4080的16GB显存已经无法满足

 需要像4060跑14b那样借用内存来处理参数

会借用7GB内存,借用内存的同时也会消耗CPU性能,会导致回答输出奇慢无比。

也就是需要显存大于24GB才可以流畅运行32b模型,但性能又和14b拉不开差距,所有32b对于普通用户而言性价比较低。

70b

很抱歉,70b的能力测试我无法进行,因为它对配置要求太高了,不光会GPU会占满,甚至会占29个G内存,就算这种情况下,也完全无法正常提问。

最简单的问题都要经过长达5分钟的思考(还没思考成功),这一级别已经脱离了家用电脑的范畴,我推测最少需要两张A100 40GB才有可能流畅运行。

至于未蒸馏的DeepSeek-R1-Zero,671B的模型可以想象配置要求有多夸张。

总结

1.5b可以说完全无法使用,只适合电脑配置很差又想体验本地部署的用户,不如去官网直接问,虽然会经常无响应,大概等于2019年的GPT2.0。

7b的逻辑推理能力有一定进步,但仍然不足以应对较难的问题,综合性价比不高,适合老显卡用户问一些简单的问题,自然语言处理能力大概等于最新的GPT4o/o3-mini。

14b就已经非常强大了,NLP能力和代码编写能力都远远高于GPT,完全可以满足日常使用需求,配置要求也不高,是所有蒸馏模型里性价比最高的。

32b的综合能力没有显著强于14b,而配置要求飙升,已经接近个人电脑的极限,性价比很低不建议使用。

70b是蒸馏模型中最高版本,很遗憾我的设备性能不足不能进行详细测试。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/69946.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Ubuntu安装geteck/jetlinks实战:源码启动

这个还是很复杂的,建议使用docker即可。 参考 使用源码启动JetLinks | JetLinks 物联网基础平台 安装Ubuntu虚拟机(略)安装JDK8编译Redis安装mysql ubuntu安装MySqL server-CSDN博客 初次使用,不要安装ElasticSearch下载源码…

【docker知识】快速找出服务器中占用内存较高的容器

本文由Markdown语法编辑器编辑完成。 1.背景: 近期在处理现场问题,观察服务器时,会遇到某些进程占用较高内存的情况。由于我们的服务,基本上都是以容器的方式在运行,因此就需要找到,到底是哪个容器&#…

Jenkins 安装插件 二

Jenkins 安装插件 二 一. 打开 Dashboard 打开 Jenkins 界面,不管在任何界面,只需要点击左上角 Dashboard 按钮即可 二. 打开 Manage Jenkins 找到 Manage Jenkins -> System Configuration -> Plugins 点击 Plugins 打开界面如下 Updates&a…

OpenCV机器学习(1)人工神经网络 - 多层感知器类cv::ml::ANN_MLP

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 cv::ml::ANN_MLP 是 OpenCV 库中的一部分,用于实现人工神经网络 - 多层感知器(Artificial Neural Network - Multi-Layer…

Qt中的事件

写一个 可以拖动的按钮 DraggablePushButton.h 头文件 #ifndef DRAGGABLEPUSHBUTTON_H #define DRAGGABLEPUSHBUTTON_H#include <QPushButton> #include <QMouseEvent>class DraggablePushButton : public QPushButton {Q_OBJECTpublic:explicit DraggablePushBu…

Postgresql 开发环境搭建指南(WindowsLinux)

一、Postgresql 简介 PostgreSQL 是一个免费的对象-关系数据库服务器(ORDBMS)&#xff0c;在灵活的BSD许可证下发行。 RDBMS 是关系数据库管理系统&#xff0c;是建立实体之间的联系&#xff0c;最后得到的是关系表。 ORDBMS在原来关系数据库的基础上&#xff0c;增加了一些新…

2025前端面试题

2025前端面试题 uniappuniapp如何打包发版到线上 vuevue3构建项目vue如何封装组件vue2的响应式原理vue3的响应式原理vue3和2的区别Vuex中的重要核心属性有哪些&#xff1f;Vue-router有哪几种路由守卫 es6数组有哪些常用方法ES6的新特性Promiseasync/await防抖和节流&#xff0…

大语言模型多代理协作(MACNET)

大语言模型多代理协作(MACNET) Scaling Large-Language-Model-based Multi-Agent Collaboration 提出多智能体协作网络(MACNET),以探究多智能体协作中增加智能体数量是否存在类似神经缩放定律的规律。研究发现了小世界协作现象和协作缩放定律,为LLM系统资源预测和优化…

dify.ai 配置链接到阿里云百练等云厂商的 DeepSeek 模型

要将 dify.ai 配置链接到阿里云百练等云厂商的 DeepSeek 模型. 申请阿里云百练的KEY 添加模型 测试模型

Win10环境使用Dockerdesktop部署Dify集成Deepseek

Win10环境借助Dockerdesktop部署Dify集成Deepseek 前言 之前笔者已经部署了基于Ollama的Deepseek&#xff1a; https://lizhiyong.blog.csdn.net/article/details/145505686 安装官方指示&#xff0c;还可以集成很多组件拓展玩法&#xff1a; https://github.com/deepseek…

23、深度学习-自学之路-激活函数relu、tanh、sigmoid、softmax函数的正向传播和反向梯度。

在使用这个非线性激活函数的时候&#xff0c;其实我们重点还是学习的是他们的正向怎么传播&#xff0c;以及反向怎么传递的。 如下图所示&#xff1a; 第一&#xff1a;relu函数的正向传播函数是&#xff1a;当输入值&#xff08;隐藏层&#xff09;值大于了&#xff0c;就输出…

cameralib 安装

目录 linux安装&#xff1a; 测试安装是否成功&#xff1a; linux安装&#xff1a; pip install githttps://github.com/isarandi/cameralib.git pip install githttps://github.com/isarandi/boxlib.git pip install githttps://github.com/isarandi/poseviz.git githttps…

ML.NET库学习005:基于机器学习的客户细分实现与解析

文章目录 ML.NET库学习005&#xff1a;基于机器学习的客户细分实现与解析项目主要目的和原理目的原理 项目概述实现的主要功能主要流程步骤使用的主要函数方法关键技术 主要功能和步骤功能详细解读详细步骤解析 数据集及其处理步骤数据集处理步骤关键处理步骤原理1. 数据清洗与…

webpack打包优化策略

1. 减少打包体积 减少打包文件的大小是为了提高加载速度&#xff0c;降低网络带宽消耗&#xff0c;提升用户体验。常见的减少打包体积的优化策略包括&#xff1a; 代码分割&#xff08;Code Splitting&#xff09;&#xff1a;将代码拆分成多个小文件&#xff0c;让浏览器按需…

RocketMQ与kafka如何解决消息积压问题?

前言 消息积压问题简单来说&#xff0c;就是MQ存在了大量没法快速消费完的数据&#xff0c;造成消息积压的原因主要在于“进入的多&#xff0c;消费的少”&#xff0c;或者生产的速度过快&#xff0c;而消费速度赶不上&#xff0c;基于这一问题&#xff0c;我们主要介绍如何通过…

RISC-V平台编译 state-thread x264 ffmpeg zlog

1.state-threads 源码下来之后 直接 make linux-debug 目录下生成了对应的.a 和 .h文件 gcc test.c -o test -l st -L . #include <stdio.h> #include <stdlib.h> #include <string.h> #include <errno.h> #include <sys/socket.h&g…

用easyExcel如何实现?

要使提供的 ExcelModelListener 类来解析 Excel 文件并实现批量存储数据库的功能&#xff0c;需要结合 EasyExcel 库来读取 Excel 数据。具体来说&#xff0c;可以使用 EasyExcel.read() 方法来读取 Excel 文件&#xff0c;并指定 ExcelModelListener 作为事件监听器。 下面是…

BUU37 [DASCTF X GFCTF 2024|四月开启第一局]web1234【代码审计/序列化/RCE】

Hint1&#xff1a;本题的 flag 不在环境变量中 Hint2&#xff1a;session_start&#xff08;&#xff09;&#xff0c;注意链子挖掘 题目&#xff1a; 扫描出来www.zip class.php <?phpclass Admin{public $Config;public function __construct($Config){//安全获取基…

Mysql中使用sql语句生成雪花算法Id

&#x1f353; 简介&#xff1a;java系列技术分享(&#x1f449;持续更新中…&#x1f525;) &#x1f353; 初衷:一起学习、一起进步、坚持不懈 &#x1f353; 如果文章内容有误与您的想法不一致,欢迎大家在评论区指正&#x1f64f; &#x1f353; 希望这篇文章对你有所帮助,欢…

Go框架面试突击!30道高频题解析

前言 有粉丝朋友问我能不能整理Go主流框架方面的面试题&#xff0c;安排&#xff01; 这篇文章分享了gRPC、GoFrame、GoZero、GoMicro、GORM、Gin等主流框架的30道面试题和详解。 需要大厂面经的朋友们也可以直接加我好友&#xff0c;私信我。 gRPC 1.gRPC是什么&#xff…