使用Node.js从零搭建DeepSeek本地部署(Express框架、Ollama)

目录

  • 1.安装Node.js和npm
  • 2.初始化项目
  • 3.安装Ollama
  • 4.下载DeepSeek模型
  • 5.创建Node.js服务器
  • 6.运行服务器
  • 7.Web UI对话-Chrome插件-Page Assist

1.安装Node.js和npm

  • 首先确保我们机器上已经安装了Node.js和npm。如果未安装,可以通过以下链接下载并安装适合我们操作系统的版本:
    Node.js官方下载页面
  • 关于Node.js的安装可以参考该篇文章:
    Node.js的安装及环境配置【超详细】
  • 安装完成后,可以通过以下命令检查是否安装成功:
node -v
npm -v
  • 安装成功界面:
    在这里插入图片描述
    在这里插入图片描述

2.初始化项目

  • 使用以下命令,创建一个新的文件夹作为项目目录,并初始化一个Node.js项目:
mkdir deepseek-nodejs
cd deepseek-nodejs
npm init -y
  • 如下图:
    在这里插入图片描述
  • 以上命令会在当前目录下生成一个package.json文件,用于管理项目的依赖关系和其他配置信息。

3.安装Ollama

  • 访问Ollama官网下载适合我们电脑操作系统的安装包,并按照提示进行安装:
    Ollama官方下载页面
  • 对于Linux用户,可以通过以下命令直接安装:
curl -fsSL https://ollama.com/install.sh | sh
  • 安装完成后,验证是否成功安装:
ollama -v
  • 如下图:

在这里插入图片描述

4.下载DeepSeek模型

  • 安装完Ollama后,我们可以通过其界面选择并下载DeepSeek-R1模型。以下是下载并运行DeepSeek-R1 1.5B版本的示例命令:
ollama run deepseek-r1:1.5b

根据我们机器的硬件配置,可以选择不同规模的模型版本,如7B、14B等

  • 不同模型创建命令:
    创建命令
  • 不同规模的模型版本参数核心区别:
参数规模特点和应用场景部署需求和资源消耗应用场景
1.5B适合简单的文本生成任务,如客服话术和短文案生成,但逻辑推理能力较弱‌适合本地部署,资源消耗低,可以在消费级显卡上运行‌生成食谱步骤和基础问答‌
7B-8B适合多轮对话和中等复杂度的任务,如代码补全和基础科研工作‌适合本地部署,资源消耗低,可以在消费级显卡上运行‌ChatGPT级对话和中等复杂度代码生成‌
14B适合多轮对话和中等复杂度的任务,如代码补全和基础科研工作‌需要在高性能GPU上运行,如A100/H100/H800等‌科研论文辅助撰写和跨领域知识推理‌
32B具备接近人类水平的复杂任务处理能力,如法律文档分析和数学证明‌需要在高性能GPU上运行,如A100/H100/H800等‌科研论文辅助撰写和跨领域知识推理‌
70B适用于前沿研究和超高性能计算场景‌需要多卡并行和云服务支持,适用于全球高并发场景‌多模态融合和超长文本生成(如小说/剧本)‌
671B顶尖多任务能力,接近通用人工智能(AGI),适合科研和超大规模企业‌需要多卡并行和云服务支持,适用于全球高并发场景‌多模态融合和超长文本生成(如小说/剧本)‌
  • 如下图:

注意:下载过程中,最开始下载速度可能要快一些,下载到后面可能就几十KB/s了,此时我们可以按Ctrl+C停止下载,然后再重新执行下载命令,此时的下载速度又恢复到了几MB/s了,如此循环往复操作,很快下载好

在这里插入图片描述

  • 执行成功,可以问答:
    在这里插入图片描述
  • 使用 /bye 命令进行退出:
    在这里插入图片描述

5.创建Node.js服务器

  • 为了使DeepSeek可以通过API接口访问,我们可以使用Express框架创建一个简单的Node.js服务器。首先,安装Express:
npm install express
  • 关于Express可以参考该篇文章:
    当面试官问你关于Node.js的开发框架Express时,你怎么回答?
  • 然后,在项目根目录下创建一个名为server.js的文件,并添加以下示例代码:
const express = require('express');
const { exec } = require('child_process');const app = express();
const PORT = process.env.PORT || 3000;app.use(express.json());app.post('/query', (req, res) => {const query = req.body.query;if (!query) {return res.status(400).send({ error: 'query必填'});}// 使用提供的查询执行ollama命令exec(`ollama run deepseek-r1:1.5b -- ${query}`, (error, stdout, stderr) => {if (error) {return res.status(500).send({ error: '请求出错' });}res.send({ response: stdout });});
});app.listen(PORT, () => {console.log(`服务运行在${PORT}端口`);
});
  • 这段代码设置了一个简单的HTTP服务器,监听/query端点上的POST请求,并将接收到的查询传递给Ollama执行的DeepSeek模型。响应结果将以JSON格式返回给客户端。

6.运行服务器

  • 完成上述步骤后,可以在终端中通过以下命令启动服务器:
node server.js
  • 在postman或者apifox中访问http://localhost:3000/query,并通过发送POST请求来与DeepSeek模型进行交互:
    在这里插入图片描述

7.Web UI对话-Chrome插件-Page Assist

  • 通过终端窗口进行对话不够直观,所以通过第三方Web UI来实现对话效果
  • 通过谷歌浏览器官方插件地址搜索Page Assist,点击Page Assist - 本地 AI 模型的 Web UI:
    谷歌应用商店

在这里插入图片描述

  • 安装完成后,将该插件固定到浏览器顶部,方便使用:
    在这里插入图片描述
  • 使用时,点击图标,会跳转到使用界面,可以看到画面中间的“Ollama is running”,因为我们的Ollama软件已启动,只有启动才可正常使用:
    在这里插入图片描述
  • 设置为中文:
    在这里插入图片描述
  • 选择模型,因为我们只配置了1.5B,所以只能选择1.5B:
    在这里插入图片描述
  • 此时,即可正常使用,觉得1.5B不够,可以根据机器条件,下载其他更高版本的模型使用:
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/897220.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

BUUCTF——[GYCTF2020]FlaskApp1 SSTI模板注入/PIN学习

目录 一、网页功能探索 二、SSTI注入 三、方法一 四、方法二 使用PIN码 (1)服务器运行flask登录所需的用户名 (2)modename (3)flask库下app.py的绝对路径 (4)当前网络的mac地…

Java基础关键_018_集合(二)

目 录 一、泛型 ※ 1.说明 2.实例 3.擦除与补偿 4.泛型的定义 (1)类定义 (2)静态方法定义 (3)接口定义 5.通配符 (1)无限定 (2)上限 &#xff…

FPGA学习篇——Verilog学习3(关键字+注释方法+程序基本框架)

1 Verilog常用关键字 大概知道以下哪些是关键字就好,如何使用还是得在编写代码中来学习。 2 Verilog注释方法 Verilog有两种注释方式: 2.1 “ // ” 单行。 2.2 “ /* ... */ ” 可扩展多行。 3 Verilog程序基本框架 Verilog 的基本设计单元是“…

FPGA之USB通信实战:基于FX2芯片的Slave FIFO回环测试详解

FPGA之Usb数据传输 Usb 通信 你也许会有疑问,明明有这么多通信方式和数据传输(SPI、I2C、UART、以太网)为什么偏偏使用USB呢? 原因有很多,如下: 1. 高速数据传输能力 高带宽:USB接口提供了较高的数据传…

深入理解与配置 Nginx TCP 日志输出

一、背景介绍 在现代网络架构中,Nginx 作为一款高性能的 Web 服务器和反向代理服务器,广泛应用于各种场景。除了对 HTTP/HTTPS 协议的出色支持,Nginx 从 1.9.0 版本开始引入了对 TCP 和 UDP 协议的代理功能,这使得它在处理数据库…

【大模型安全】安全解决方案

【大模型安全】安全解决方案 1.技术层面2.数据层面数据收集阶段训练阶段模型推理阶段 1.技术层面 在使用大语言模型时,通常有几种选择:一种是采用封装好的大语言模型SaaS云服务;另一种是在公有云上部署自有的大语言模型,并通过权…

python中httpx库的详细使用及案例

文章目录 1. 安装 httpx2. 同步请求3. 异步请求4. 高级功能5. 错误处理6. 配置客户端7. 结合 Beautiful Soup 使用8. 示例:抓取并解析网页9. 注意事项httpx 是一个现代化的 Python HTTP 客户端库,支持同步和异步请求,功能强大且易于使用。它比 requests 更高效,支持 HTTP/2…

OpenCV计算摄影学(19)非真实感渲染(Non-Photorealistic Rendering, NPR)

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 非真实感渲染(Non-Photorealistic Rendering, NPR)是一种计算机图形学技术,旨在生成具有艺术风格或其他非现实…

微信小程序点击按钮,将图片下载到本地

前言&#xff1a; 最近在公司完成一个小程序的时候需要实现一个功能&#xff1a;点击按钮获取用户相册权限&#xff0c;将图片下载到用户本地相册&#xff0c;经过了好几次的尝试最终算是实现了。将总结的经验在这里分享给小伙伴们。 实现方式&#xff1a; //.wxml文件 <…

数据仓库为什么要分层

数据仓库分层架构是数据仓库设计中的一个重要概念&#xff0c;其主要目的是为了更好地组织和管理数据&#xff0c;提高数据仓库的可维护性、可扩展性和性能。分层架构将数据仓库划分为多个层次&#xff0c;每个层次都有其特定的职责和功能。以下是数据仓库分层的主要原因和好处…

selenium库

一、什么是selenium库&#xff1f; selenim是一个用于Web应用程序自动化测试工具&#xff0c;selenium测试直接运行在浏览器中 像真正的用户在操作一样&#xff0c;驱动浏览器执行特定的动作&#xff0c;如点击&#xff0c;下拉等操作 二、selenium在爬虫中的应用 获取动态…

python从入门到精通(二十四):python爬虫实现登录功能

这里写目录标题 requests实现登录功能selenium实现登录功能 requests实现登录功能 使用 requests 库结合会话&#xff08;Session&#xff09;来尝试登录。不过豆瓣有反爬虫机制&#xff0c;这种方式可能会受到验证码等因素的限制 import requests import re# 豆瓣登录页面 l…

十七、从0开始卷出一个新项目之瑞萨RZN2L定时器(GPT)+DMA生成PWM的运动控制

一、概述 嵌入式科普(34)通过对比看透DMA的本质 分享瑞萨RZN2L使用DMA生成PWM的运动控制的例程源码 rzn2l必要的外设资源&#xff1a; rzn2l拥有32-bit timer General PWM Timer (GPT) with 18 channels CPU、GPT最高频率400Mhz DMAC0 and DMAC1 8 channels 8 channels 还…

MR的环形缓冲区(底层)

MapReduce的大致流程&#xff1a; 1、HDFS读取数据&#xff1b; 2、按照规则进行分片&#xff0c;形成若干个spilt&#xff1b; 3、进行Map 4、打上分区标签&#xff08;patition&#xff09; 5、数据入环形缓冲区&#xff08;KVbuffer&#xff09; 6、原地排序&#xff…

解锁STM32外设:开启嵌入式开发新世界

✨✨✨这里是小韩学长yyds的BLOG(喜欢作者的点个关注吧) ✨✨✨想要了解更多内容可以访问我的主页 小韩学长yyds-CSDN博客 目录 探索 STM32 强大的外设家族 初窥门径&#xff1a;STM32 外设开发基础 开发方式与工具 外设配置基础步骤 深入剖析&#xff1a;常见外设应用实例…

大模型AI平台DeepSeek 眼中的SQL2API平台:QuickAPI、dbapi 和 Magic API 介绍与对比

目录 1 QuickAPI 介绍 2 dbapi 介绍 3 Magic API 介绍 4 简单对比 5 总结 统一数据服务平台是一种低代码的方式&#xff0c;实现一般是通过SQL能直接生成数据API&#xff0c;同时能对产生的数据API进行全生命周期的管理&#xff0c;典型的SQL2API的实现模式。 以下是针对…

人工智能之数学基础:对线性代数中逆矩阵的思考?

本文重点 逆矩阵是线性代数中的一个重要概念,它在线性方程组、矩阵方程、动态系统、密码学、经济学和金融学以及计算机图形学等领域都有广泛的应用。通过了解逆矩阵的定义、性质、计算方法和应用,我们可以更好地理解和应用线性代数知识,解决各种实际问题。 关于逆矩阵的思…

[傻瓜式教学]如何将MathType公式编辑器内嵌到WPS工具栏中

[傻瓜式教学]如何将MathType公式编辑器内嵌到WPS工具栏中 将MathType公式编辑器内嵌到WPS工具栏中 下载好所需文件 我用夸克网盘分享了「mathtype安装教程超简单易上手.zip」&#xff0c;点击链接即可保存。打开「夸克APP」 链接&#xff1a;https://pan.quark.cn/s/4726c684…

WPF框架---MvvmLight介绍

目录 1. MvvmLight 框架准备 2. MvvmLight 中的相关基类 3. MvvmLight 中的数据绑定与通知 a. 核心功能 b. 关键方法与属性 c. 完整示例 d. 高级用法 4. MvvmLight 中的命令对象 a. 命令对象的作用 b. 核心接口&#xff1a;ICommand c. MvvmLight 中的 RelayCommand…

【Linux】线程同步与互斥

线程同步与互斥 一.线程互斥1.互斥相关概念2.互斥锁 Mutex3.互斥锁接口4.互斥锁实现原理5.互斥锁封装 二.线程同步1.同步相关概念2.条件变量 Condition Variable3.条件变量接口4.条件变量封装5.信号量 Semaphore6.信号量接口7.信号量封装8.生产者 - 消费者模型1.基于 Blocking …