本地部署deepseek模型步骤

文章目录

    • 0.deepseek简介
    • 1.安装ollama软件
    • 2.配置合适的deepseek模型
    • 3.安装chatbox可视化

0.deepseek简介

DeepSeek 是一家专注于人工智能技术研发的公司,致力于打造高性能、低成本的 AI 模型,其目标是让 AI 技术更加普惠,让更多人能够用上强大的 AI 工具1。DeepSeek 由幻方量化孵化,成立于2023年4月,是一家创新型科技公司,专注于开发先进的大语言模型(LLM)和相关技术。DeepSeek 推出的大模型在技术圈与投资界突然“爆火”,成立仅一年多的深度求索(DeepSeek)公司于1月20日推出其新一代大模型R1,性能显示出与OpenAI的最新版本相当的潜力,却在训练成本上实现了大幅度降低。2

DeepSeek-R1 是 DeepSeek 推出的推理大模型,它在数学、代码、自然语言推理等任务上的性能可以比肩 OpenAI 的 o1 模型正式版3。DeepSeek-R1 的成功预示着中国在人工智能模型研发方面取得了从模仿到超越的重要突破。DeepSeek-R1 的预训练费用只有557.6万美元,在2048块英伟达H800 GPU集群上运行55天完成4。DeepSeek 还因其新发布的开源模型 R1 在性能和成本效率上的突破性表现,引发了整个 AI 行业的广泛讨论。5

1.安装ollama软件

1.进入ollama官网,下载适合自己计算机版本的安装包(大约3min),我这里下载的是windows版本。

在这里插入图片描述
在这里插入图片描述

下载好之后如下图所示:
在这里插入图片描述

2.安装ollama软件。点击下载好的.exe文件,然后点击Install,默认安装在C盘(后期可以自己转移位置,详见文章:将ollama迁移到其他盘
在这里插入图片描述

3.打开ollama软件,电脑右下角会出现这样的图标:

在这里插入图片描述

2.配置合适的deepseek模型

  1. 在ollama官网中点击Models,点击deepseek-r1,根据自己电脑选择不同版本的模型,复制后面的那句命令。

    在这里插入图片描述在这里插入图片描述

  2. win+R然后输入cmd,调出命令行窗口。

  3. 输入命令ollama -v 查看ollama的版本,确保ollama软件已经在运行状态,才能进行后面的操作。

  4. 将刚才复制的命令复制到命令行窗口,点击回车即可。

    在这里插入图片描述

  5. 当进度条到100%的时候,会出现一句话:send a message,这样就是已经部署成功14b模型了。

    可以直接在这个命令行窗口输入对话使用14b的模型。

    在这里插入图片描述

这里示范的是部署14b的模型,时间比较久,可能和网速有关系,我这边网速也比较慢,大约得有1个多小时才弄好。(会有进度条提示)

但是后来发现我的电脑太老了,部署14b之后,带不起来。

  • 我的电脑GPU是NVIDIA GeForce MX150:这款显卡性能相对有限,可能无法提供足够的计算能力来快速处理大型模型。对于 DeepSeek R1-14B 这样的大型模型,可能仍然会运行缓慢。

  • MX150 的显存通常为 2GB,这对于运行 14B 参数的模型来说是远远不够的。大型模型需要更多的显存来存储中间计算结果。

  • 所以后面我改为用7b的模型

3.安装chatbox可视化

在命令行窗口中可以使用,但是不方便,所以使用chatbox软件进行可视化操作,这样可以更加便捷的使用deepseek模型。

  1. 进入chatbox官网,下载chatbox安装包
    在这里插入图片描述

  2. 安装chatbox软件,可以自定义安装位置
    在这里插入图片描述

  3. 安装好之后自动运行chatbox软件,点击“使用自己的API KEY或本地模型”,配置刚刚部署的14b模型。

    在这里插入图片描述

    选择Ollama API选项
    在这里插入图片描述

    然后选择已经部署好的14b模型
    在这里插入图片描述

这样就把deepseek部署到本地,并且可视化使用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/894102.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DeepSeek R1中提到“知识蒸馏”到底是什么

在 DeepSeek-R1 中,知识蒸馏(Knowledge Distillation)是实现模型高效压缩与性能优化的核心技术之一。在DeepSeek的论文中,使用 DeepSeek-R1(教师模型)生成 800K 高质量训练样本,涵盖数学、编程、…

关联传播和 Python 和 Scikit-learn 实现

文章目录 一、说明二、什么是 Affinity Propagation。2.1 先说Affinity 传播的工作原理2.2 更多细节2.3 传播两种类型的消息2.4 计算责任和可用性的分数2.4.1 责任2.4.2 可用性分解2.4.3 更新分数:集群是如何形成的2.4.4 估计集群本身的数量。 三、亲和力传播的一些…

通过配置代理解决跨域问题(Vue+SpringBoot项目为例)

跨域问题: 是由浏览器的同源策略引起的,同源策略是一种安全策略,用于防止一个网站访问其他网站的数据。 同源是指协议、域名和端口号都相同。 跨域问题常常出现在前端项目中,当浏览器中的前端代码尝试从不同的域名、端口或协议…

(1)Linux高级命令简介

Linux高级命令简介 在安装好linux环境以后第一件事情就是去学习一些linux的基本指令,我在这里用的是CentOS7作演示。 首先在VirtualBox上装好Linux以后,启动我们的linux,输入账号密码以后学习第一个指令 简介 Linux高级命令简介ip addrtou…

TOGAF之架构标准规范-信息系统架构 | 数据架构

TOGAF是工业级的企业架构标准规范,信息系统架构阶段是由数据架构阶段以及应用架构阶段构成,本文主要描述信息系统架构阶段中的数据架构阶段。 如上所示,信息系统架构(Information Systems Architectures)在TOGAF标准规…

Windows 程序设计7:文件的创建、打开与关闭

文章目录 前言一、文件的创建与打开CreateFile1. 创建新的空白文件2. 打开已存在文件3. 打开一个文件时,如果文件存在则打开,如果文件不存在则新创建文件4.打开一个文件,如果文件存在则打开文件并清空内容,文件不存在则 新创建文件…

FastReport.NET控件篇之富文本控件

简介 FastReport.NET 提供了 RichText 控件,用于在报表中显示富文本内容。富文本控件支持多种文本格式(如字体、颜色、段落、表格、图片等),非常适合需要复杂排版和格式化的场景。 富文本控件(RichText)使用场景不多&#xff0c…

爬虫基础(三)Session和Cookie讲解

目录 一、前备知识点 (1)静态网页 (2)动态网页 (3)无状态HTTP 二、Session和Cookie 三、Session 四、Cookie (1)维持过程 (2)结构 正式开始说 Sessi…

PythonFlask框架

文章目录 处理 Get 请求处理 POST 请求应用 app.route(/tpost, methods[POST]) def testp():json_data request.get_json()if json_data:username json_data.get(username)age json_data.get(age)return jsonify({username: username测试,age: age})从 flask 中导入了 Flask…

002-基于Halcon的图像几何变换

本节将简要介绍Halcon中有关图像几何变换的基本算子及其应用,主要涉及五种常见的二维几何变换形式:平移、镜像、旋转、错切和放缩。这几种变换可归结为一类更高级更抽象的空间变换类型,即仿射变换(Affine transformation&#xff…

Hive:日志,hql运行方式,Array,行列转换

日志 可以在终端通过 find / | grep hive-log4j2 命令查找Hive的日志配置文件 这些文件用于配置Hive的日志系统。它们不属于系统日志也不属于Job日志,而是用于配置Hive如何记录系统日志和Job日志, 可以通过hive-log4j2 查找日志的位置 HQL的3种运行方式 第1种就是l…

SpringBoot使用MockMVC通过http请求controller控制器调用测试

说明 在Spring Boot中编写测试控制器调用是一个常见的需求,通常使用Spring的测试框架来完成。Spring Boot提供了多种方式来测试控制器,包括使用MockMvc进行模拟HTTP请求和响应的测试。 基本示例 1. 创建Spring Boot项目 首先,确保你已经创建了一个Spring Boot项目。如果…

Spring集成Redis|通用Redis工具类

一、基础使用 概述 在SpringBoot中一般使用RedisTemplate提供的方法来操作Redis。那么使用SpringBoot整合Redis需要 那些步骤呢。 1、 JedisPoolConfig (这个是配置连接池) 2、 RedisConnectionFactory 这个是配置连接信息,这里的RedisConnectionFactory是一个接 …

Unity 粒子特效在UI中使用裁剪效果

1.使用Sprite Mask 首先建立一个粒子特效在UI中显示 新建一个在场景下新建一个空物体,添加Sprite Mask组件,将其的Layer设置为UI相机渲染的UI层, 并将其添加到Canvas子物体中,调整好大小,并选择合适的Sprite&#xff…

[C语言日寄] <stdio.h> 头文件功能介绍

在C语言的世界里&#xff0c;<stdio.h> 是一个极其重要的头文件&#xff0c;它提供了标准输入输出功能&#xff0c;是C语言程序与用户交互的核心工具。今天&#xff0c;我们就来深入探讨 <stdio.h> 的功能、使用注意事项以及它的拓展应用。 功能介绍 <stdio.h…

【实践案例】使用Dify构建企业知识库

文章目录 背景知识检索增强生成&#xff08;RAG&#xff09;向量检索关键词检索混合检索向量化和相似度计算实例说明 实践案例创建知识库Rerank 模型设置创建Dify工作流测试 背景知识 检索增强生成&#xff08;RAG&#xff09; 检索增强生成&#xff08;Retrieval-Augmented …

Maui学习笔记- SQLite简单使用案例02添加详情页

我们继续上一个案例&#xff0c;实现一个可以修改当前用户信息功能。 当用户点击某个信息时&#xff0c;跳转到信息详情页&#xff0c;然后可以点击编辑按钮导航到编辑页面。 创建项目 我们首先在ViewModels目录下创建UserDetailViewModel。 实现从详情信息页面导航到编辑页面…

算法基础学习——快排与归并(附带java模版)

快速排序和归并排序是两种速度较快的排序方式&#xff0c;是最应该掌握的两种排序算法&#xff0c; &#xff08;一&#xff09;快速排序&#xff08;不稳定的&#xff09; 基本思想&#xff1a;分治 平均时间复杂度&#xff1a;O(nlogn) / 最慢O(n^2) / 最快O(n) 步骤&…

MySQL 基础学习(3):排序查询和条件查询

MySQL 查询与条件操作&#xff1a;详解与技巧 在本文中&#xff0c;我们将探讨 MySQL 中的查询操作及其相关功能&#xff0c;包括别名、去重、排序查询和条件查询等&#xff0c;并总结一些最佳实践和注意事项。 一、使用别名&#xff08;AS&#xff09; 在查询中&#xff0c…

数据结构的队列

一.队列 1.队列&#xff08;Queue&#xff09;的概念就是先进先出。 2.队列的用法&#xff0c;红色框和绿色框为两组&#xff0c;offer为插入元素&#xff0c;poll为删除元素&#xff0c;peek为查看元素红色的也是一样的。 3.LinkedList实现了Deque的接口&#xff0c;Deque又…