DeepSpeek服务器繁忙？这几种替代方案帮你流畅使用！（附本地部署教程）

作者：后端小肥肠

目录

1. 前言

2. 解决方案

2.1. 纳米AI搜索（第三方平台）

2.2. Github（第三方平台）

2.3. 硅基流动（第三方API）

3. 本地部署详细步骤

3.1. 运行配置需求

3.2. 部署教程

4. DeepSpeek资料获取

5. 结语

1. 前言

2023年ChatGPT掀起的AI飓风中，一家中国AI公司正以惊人的速度改写行业格局——DeepSeek智能推理平台上线首月用户突破百万，日均API调用量超10亿次，其自研的MoE混合专家模型在中文语境下的推理速度较主流方案提升300%。这场技术狂欢背后，折射出AI产业发展的新图景：大模型应用正从"云端漫步"转向"地面竞速"，推理效率成为决定AI服务成败的关键胜负手。

DeepSeek的爆红绝非偶然，其技术突破精准击中了AI落地的三大痛点。通过动态负载均衡算法，平台在10毫秒内完成计算资源调度；独创的语义缓存机制使重复请求响应速度达到纳秒级；更关键的是其混合精度量化技术，在保持98%模型精度的前提下，将推理能耗降低60%。这些创新让企业客户在电商推荐、金融风控等场景中真正体验到"无感级"AI服务。

但是不知道大家发现没有Deepspeek总是遇到下图问题，网上的解释为因为全球大量流量的涌入，再加上 DeepSeek 遭 X 国 IP 暴力攻击，所以，目前官版的 DeepSeek 响应比较慢。

2. 解决方案

目前网上能搜罗的解决方案无非就是第三方平台和第三方API，我这里列举几
个。

2.1. 纳米AI搜索（第三方平台）

App：

下图中满血版R1模型提问要20纳米一次，要不要用，怎么用就看自己取舍了（说实话我觉得豆包就挺好用的了，我手机上相关的APP就一个豆包，过年下载了DeepSpeek由于总是服务器繁忙已经卸载了）。

网页版本：纳米AI

2.2. Github（第三方平台）

网址：Sign in to GitHub · GitHub​

界面如下所示，需要手动拉满Max Tokens：

在此页面上，你可以找到以下资源：

  • 源代码：DeepSeek R1模型的实现代码，包括模型架构、训练代码和推理代码。

  • 模型权重：预训练的模型权重文件，方便你直接加载模型进行推理或微调。

  • 技术文档：详细的文档，介绍模型的设计理念、训练过程和使用方法。

  • 示例代码：提供了如何在不同环境下使用DeepSeek R1模型的示例，帮助你·快速上手。

此外，GitHub页面还包含了“Issues”部分，你可以在这里查看和提交与DeepSeek R1模型相关的问题和建议。例如，有用户询问如何在PC或移动设备上部署DeepSeek R1/V3精简版，以及API是否可以调用本地知识库等问题。

2.3. 硅基流动（第三方API）

硅基流动（SiliconCloud）是一家知名的AI技术公司，曾为用户推荐过ComfyUI BizyAir插件。近期，他们与华为云合作，推出了基于昇腾云服务的DeepSeek R1模型API服务。这一服务旨在为开发者提供高效、稳定的AI模型推理能力，满足大规模生产环境的需求。

通过SiliconCloud的API，开发者可以轻松接入DeepSeek R1模型，享受零部署门槛的便利。此外，SiliconCloud还提供了详细的API文档，帮助开发者快速上手，接下来就给大家演示怎么基于第三方API使用DeepSpeek：

1. 登录硅基流动注册账号

首先，访问SiliconCloud的官方网站，点击注册按钮，按照提示完成注册流程。

2. 提取API key

登录后，进入用户中心，找到API密钥选项，点击新建API秘钥。生成后，请妥善保存该密钥。

3. 安装客户端软件

如果你要在客户端应用中体验 DeepSeek R1 模型，你可以选择以下产品：

大模型客户端应用：

  • ChatBox
  • Cherry Studio
  • OneAPI
  • NextChat

代码生成应用：

  • Cursor
  • Windsurf
  • Cline

大模型应用开发平台：

  • Dify

AI知识库：

  • Obsidian AI
  • FastGPT

翻译插件：

  • 沉浸式翻译：
  • 欧路词典：

以Cherry Studio为例，你可以访问其官网（Cherry Studio - 全能的AI助手），按照步骤下载安装对应版本的客户端。

4. 配置API

运行客户端软件后，进入设置界面，找到SiliconCloud的API配置项。在API密钥字段中输入你在SiliconCloud获取的API密钥。然后，选择DeepSeek R1模型，保存设置。完成后，你即可开始使用DeepSeek R1模型进行交互。

3. 本地部署详细步骤

本地部署开源大模型具有以下优势：

  • 更稳定、更快的响应速度：本地部署减少了对网络连接的依赖，避免了因网络延迟导致的响应速度下降。

  • 模型可控性：根据自身需求对模型进行定制和优化，提高模型的适用性和性能。

  • 数据安全：在本地环境中处理数据，避免了将敏感信息上传至云端，降低了数据泄露的风险。

  • 成本控制：无限使用，无需支付云服务的订阅费用，可降低使用成本。

  • 灵活性：可以自由选择和切换不同的模型，满足多样化的应用需求。

  • 离线运行：在本地部署后，即使没有网络连接，也可以使用模型。

3.1. 运行配置需求

如果电脑的显存不够用，可以通过量化来减少对显存的需求。量化就是把模型的参数从较高的精度（比如32位）转换为较低的精度（比如8位），这样可以节省显存空间，让你的电脑能够运行更大的模型。举个例子，如果你的电脑显存是8GB，而你想使用7b参数的模型，但显存不足，那么通过量化处理后，你就可以在不增加硬件的情况下，使用这个大模型。

简而言之，量化可以帮助你在显存有限的情况下运行更强大的模型，是优化显存使用的有效方法。如果你不确定自己是否需要量化，可以参考下面的显卡显存列表来判断自己电脑的显存是否足够运行所需的模型。

显存大小显卡型号
3GBGTX 1060 3GB
4GBGTX 1050 Ti
6GBGTX 1060 6GB, RTX 2060 6GB, RTX 3050 (6GB)
8GBGTX 1080, GTX 1070 Ti, RTX 2080 SUPER, RTX 2080, RTX 2070 SUPER, RTX 2070, RTX 2060, RTX 2060 SUPER, RTX 3070, RTX 3070 Ti, RTX 3060 Ti, RTX 3060 (8GB), RTX 3050 (8GB), RTX 4080, RTX 4060 Ti, RTX 4060, RTX 5070
11GBGTX 1080 Ti, RTX 2080 Ti
12GBRTX 2060 12GB, RTX 3060 (12GB), RTX 4070 Ti SUPER, RTX 4070, RTX 5070 Ti
16GBRTX 4060 Ti 16GB, RTX 5080
24GBRTX 3090 Ti, RTX 3090, RTX 4080, RTX 4090
32GBRTX 5090

根据电脑配置选择合适的模型下载，下面列出了不同大小的DeepSeek模型对应的显存和内存需求。请根据你的显卡配置和MacOS系统的内存选择合适的模型。

模型大小​

​

显存需求（FP16 推理）​

显存需求（INT8 推理）​

推荐显卡​

MacOS 需要的 RAM​

1.5b​

3GB​

2GB​

RTX 2060/MacGPU 可运行​

8GB​

7b​

14GB​

10GB​

RTX 3060 12GB/4070 Ti​

16GB​

8b​

16GB​

12GB​

RTX 4070/MacGPU 高效运行​

16GB​

14b​

28GB​

20GB​

RTX 4090/A100-40G​

32GB​

32b​

64GB​

48GB​

A100-80G/2xRTX4090​

64GB​

如何看显存，可以自行百度，我演示一下我的电脑是怎么看的，打开NVIDIA控制面板的系统信息：

从图片中显示的信息来看，我的显卡是Quadro P620，显存为4GB GDDR5（4GB） ，我能用的模型大小为1.5b（。。。今年努力买个4090）

3.2. 部署教程

本地部署教程分为需要设置环境版本（Ollama）和不需要设置环境（针对显存不足）（LM Studio），我这里只讲不需要设置环境怎么部署(Ollama的教程可以去网上自己找一下）。

1. 进入官网下载 LM Studio

地址：LM Studio - Discover, download, and run local LLMs​

这里可以看到是支持「DeepSeek」大模型的，当然也支持其他的开源大模型，原理是一样的，后续小伙伴想测试其他的模型，这篇学会了，其他也就通了。​

​2. 安装LM Studio

安装过程很简单，这里不展开讲。

3. 设置中文

点击右下角设置按钮，将软件语言设置为中文。

4. 修改模型文件夹

点击我的模型，修改模型存放目录

我改到了F盘：

5. 下载模型

打开「魔搭社区」下载，网站是阿里的。

 进入你想下载的模型：

点击模型文件 ，在这些GGUF量化模型的文件名中，Q后面的数字（如Q3、Q4、Q6、Q8）代表模型的量化位数，用于指示模型权重的量化精度。

  • 较低位数（如Q3、Q4）：

    • 模型文件较小，占用的存储空间和内存更少。
    • 推理速度更快，适合在资源有限的设备（如移动端、嵌入式设备）上运行。
    • 但由于量化损失较大，模型的精度可能会有所下降。

  • 较高位数（如Q6、Q8）：

    • 精度接近原始未量化模型，推理效果更好。
    • 文件大小较大，推理速度相对较慢。

如果你需要尽可能小且运行速度更快的模型（例如在低端GPU或CPU上运行），可以选择Q3或Q4。如果你更注重推理效果，并希望接近FP16（浮点模型）的精度，可以选择Q6或Q8。根据需求选择合适的量化位数，然后直接点击下载即可。

6. 配置模型

将下载好的模型放置到模型目录中：

7. 使用

回到聊天界面，选择刚刚下载的大模型加载

点击对应模型会弹出参数页面，根据自己需要调整即可：

加载完成后，选择右上角烧杯的图标，我们可以设置提示词，类似智能体 

现在来提问一下：

4. DeepSpeek资料获取

如果你需要获取关于DeepSeek的相关资料，可以通过关注我的公众号【后端小肥肠】来领取《DeepSeek 15天指导手册——从入门到精通》。

5. 结语

在使用DeepSeek模型时，无论是选择第三方API还是进行本地部署，都需要根据自己的实际硬件配置做出最合适的决策。如果你的电脑配置较低，显存不足，可以选择通过第三方平台或API来避免复杂的部署过程，快速享受到AI推理服务。而对于那些硬件条件较好的用户，本地部署则提供了更多的控制权和灵活性，不仅可以节省长期的云服务费用，还能让你完全掌控数据和模型的运行。

对于我个人而言，由于硬件配置的限制，目前使用的是第三方API，但对于有更强大硬件资源的开发者，本地部署无疑是一个更具吸引力的选项。无论如何，AI技术的进步已经开始改变我们的工作和生活方式，未来会有更多的可能性等着大家去探索。

希望这篇文章能为你的决策提供参考，祝愿大家在AI的世界里越走越远。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/72333.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

prisma+supabase报错无法查询数据

prisma+supabase报错无法查询数据

解决方案，在DATABASE_URL后面增加?pgbouncertrue
阅读更多...
c语言中return 数字代表的含义

c语言中return 数字代表的含义

return 数字的含义：表示函数返回一个整数值，通常用于向调用者（如操作系统或其他程序）传递程序的执行状态或结果。 核心规则： return 0： 含义：表示程序或函数正常结束。 示例： int m…
阅读更多...
Spark内存迭代计算

Spark内存迭代计算

一、宽窄依赖 窄依赖：父RDD的一个分区数据全部发往子RDD的一个分区 宽依赖：父RDD的一个分区数据发往子RDD的多个分区，也称为shuffle 二、Spark是如何进行内存计算的？DAG的作用？Stage阶段划分的作用？ &a…
阅读更多...
Linux知识-第一天

Linux知识-第一天

Linux的目录机构为一个树型结构 其没有盘符这个概念，只有一个根目录，所有文件均在其之下 在Linux系统中，路径之间的层级关系 使用 / 开头表示根目录，后面的表示层级关系 Linux命令入门 Linux命令基础 Linux命令通用格式 comman…
阅读更多...
QT实现单个控制点在曲线上的贝塞尔曲线

QT实现单个控制点在曲线上的贝塞尔曲线

最终效果: 一共三个文件 main.cpp #include <QApplication> #include "SplineBoard.h" int main(int argc,char** argv) {QApplication a(argc, argv);SplineBoard b;b.setWindowTitle("标准的贝塞尔曲线");b.show();SplineBoard b2(0.0001);b2.sh…
阅读更多...
绘制思维导图画布选型

绘制思维导图画布选型

在实现思维导图/知识图谱的绘制时&#xff0c;选择合适的「画布」技术方案至关重要。以下是不同技术路线的对比分析和推荐方案&#xff1a; 一、技术方案对比 技术类型实现方式优点缺点适用场景普通DOM元素使用<div>CSS布局&#x1f539; 开发简单&#x1f539; 天然支持…
阅读更多...
运维Splunk面试题及参考答案

运维Splunk面试题及参考答案

目录 通过转发器导入数据的优势有哪些（如带宽控制、负载均衡等） 描述 Universal Forwarder 与 Heavy Forwarder 的差异 如何配置转发器实现数据的过滤与预处理 转发器的本地缓存机制如何保证数据可靠性 如何通过部署服务器统一管理多个转发器的配置 什么是 “查找表（L…
阅读更多...
年后寒假总结及计划安排

年后寒假总结及计划安排

年后寒假总结 年后主要学习了微服务&#xff0c;nacos (服务注册中心)&#xff0c;feign&#xff08;远程调用&#xff09;&#xff0c;网关&#xff0c;双token&#xff08;相较于之前更加规范&#xff0c;更加符合企业级&#xff09;&#xff0c;配置管理 &#xff0c;mybati…
阅读更多...
word中交叉引用多篇参考文献格式[1-2]或[1-4]操作

word中交叉引用多篇参考文献格式[1-2]或[1-4]操作

划重点 更改左域名&#xff0c;输入 \#"[0" 更改中间域名&#xff0c;输入\#"" 更改右域名&#xff0c;输入 \#"0]" 1.[2-3]格式 首先点击交叉引用&#xff0c;引用参考文献 右击鼠标&#xff0c;点击切换域代码&#xff0c;对于左域名 删除 * …
阅读更多...
【银河麒麟高级服务器操作系统】服务器测试业务耗时问题分析及处理全流程分享

【银河麒麟高级服务器操作系统】服务器测试业务耗时问题分析及处理全流程分享

更多银河麒麟操作系统产品及技术讨论&#xff0c;欢迎加入银河麒麟操作系统官方论坛 https://forum.kylinos.cn 了解更多银河麒麟操作系统全新产品&#xff0c;请点击访问 麒麟软件产品专区&#xff1a;https://product.kylinos.cn 开发者专区&#xff1a;https://developer…
阅读更多...
opencv 模板匹配方法汇总

opencv 模板匹配方法汇总

在OpenCV中&#xff0c;模板匹配是一种在较大图像中查找特定模板图像位置的技术。OpenCV提供了多种模板匹配方法&#xff0c;通过cv2.matchTemplate函数实现&#xff0c;该函数支持的匹配方式主要有以下6种&#xff0c;下面详细介绍每种方法的原理、特点和适用场景。 1. cv2.T…
阅读更多...
NAT，代理服务，内网穿透

NAT，代理服务，内网穿透

NAT 把报文的源IP替换为途径路由器的WAN口IP NAPT 如何将数据从公网转回给内网的主机&#xff1f;通过NAPT&#xff08;转换表&#xff09;来实现&#xff0c;每次从内网到公网&#xff0c;公网到内网都会根据转换表来进行 细节&#xff1a; NAT转换时&#xff0c;值替换源…
阅读更多...
大模型分布式训练和优化

大模型分布式训练和优化

1. 分布式训练概述 随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。因此，设计分布式训练（Distributed Training）系统来解决海量的计算和内存资源需求问题变得至关重要。 分布式训练是指将机器学习或深度学习模型训练任…
阅读更多...
第三方机构有哪些接口?

第三方机构有哪些接口?

1&#xff0c;网银接口。2&#xff0c;代扣接口。3&#xff0c;POS接口。4&#xff0c;快捷支付接口 1.网银接口 第三方支付平台连接网银接口&#xff0c;进行支付跳转时&#xff0c;第三方支付平台充当了一个网关的角色&#xff0c;或者充当了银行的代 理。 2.代扣接口 银…
阅读更多...
JUnit 版本影响 Bean 找不到

JUnit 版本影响 Bean 找不到

JUnit 版本影响 Bean 找不到 在为实现类编写测试类时&#xff0c;在测试类中使用构造器注入 Bean 时&#xff0c;提示找不到 Bean&#xff0c;代码如下&#xff1a; Service public class WeChatServiceImpl implements IWeChatService {Overridepublic String getNumber(Str…
阅读更多...
夸父工具箱(安卓版) 手机超强工具箱

夸父工具箱(安卓版) 手机超强工具箱

如今&#xff0c;人们的互联网活动日益频繁&#xff0c;导致手机内存即便频繁清理&#xff0c;也会莫名其妙地迅速填满&#xff0c;许多无用的垃圾信息悄然占据空间。那么&#xff0c;如何有效应对这一难题呢&#xff1f;答案就是今天新推出的这款工具软件&#xff0c;它能从根…
阅读更多...
《深度学习进阶》第7集：深度实战 通过训练一个智能体玩游戏 来洞察 强化学习（RL）与决策系统

《深度学习进阶》第7集：深度实战 通过训练一个智能体玩游戏 来洞察 强化学习（RL）与决策系统

深度学习进阶 | 第7集&#xff1a;深度实战 通过训练一个智能体玩游戏 来洞察 强化学习&#xff08;RL&#xff09;与决策系统 在深度学习的广阔领域中&#xff0c;强化学习&#xff08;Reinforcement Learning, RL&#xff09;是一种独特的范式&#xff0c;它通过智能体与环境…
阅读更多...
Linux端口映射

Linux端口映射

1. 方法一使用firewalld 1.1 开启伪装IP firewall-cmd --permanent --add-masquerade 1.2 配置端口转发&#xff0c;将到达本机的12345端口的访问转发到另一台服务器的22端口 firewall-cmd --permanent --add-forward-portport12345:prototcp:toaddr192.168.172.131:toport…
阅读更多...
文本处理Bert面试内容整理-BERT的基本原理是什么？

文本处理Bert面试内容整理-BERT的基本原理是什么？

BERT（Bidirectional Encoder Representations from Transformers）的基本原理可以从以下几个方面来理解： 1. 双向上下文建模 BERT的一个核心创新是它通过双向（bidirectional）建模上下文来理解词语的意义。传统的语言模型（如GPT）是单向的，即它们只考虑文本的左到右（或右…
阅读更多...
MAC 本地搭建部署 dify（含 github访问超时+Docker镜像源拉取超时解决方案）

MAC 本地搭建部署 dify（含 github访问超时+Docker镜像源拉取超时解决方案）

目录 一、什么是 dify&#xff1f; 二、安装 docker 1. 什么是 docker&#xff1f; 2. docker下载地址 三、安装 dify 1. dify下载地址 2.可能遇到问题一&#xff1a; github访问超时 3.下载后完成解压 4.进入到 cmd 终端环境&#xff0c;执行下面三个命令 5.可能遇到…
阅读更多...
最新文章

Copyright @ 2022~2023