技术实战|ELF 2学习板本地部署DeepSeek-R1大模型的完整指南(一)

DeepSeek作为国产AI大数据模型的代表,凭借其卓越的推理能力和高效的文本生成技术,在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本,实现了长文本处理效能跃迁、多模态扩展规划、嵌入式适配等技术维度的突破。

RK3588作为瑞芯微推出的旗舰级芯片,凭借多核异构计算能力以及强大的CPU、GPU和NPU性能,成为嵌入式AI应用的理想平台。DeepSeek-R1与ELF 2学习板的深度融合,标志着国产AI大模型从云端向边缘端的延伸。这种“先进算法+定制化芯片”的协同模式,不仅解决了边缘侧实时性、隐私保护等关键需求,更构建起从技术研发到产业赋能的完整价值链条。接下来,让我们深入探讨这一过程是如何具体实现的。

Image_20250210153031.png

一、移植过程

(1)下载DeepSeek-R1源码

在Ubuntu虚拟机上从DeepSeek-R1官网地址下载DeepSeek-R1-Distill-Qwen-1.5B权重文件。

(2)安装转换工具

在Ubuntu创建虚拟环境并安装RKLLM-Toolkit,以便将DeepSeek-R1大语言模型转换为RKLLM模型格式和编译板端推理的可执行程序。

(3)模型转换

使用RKLLM-Toolkit对模型进行转换,RKLLM-Toolkit提供模型的转换、量化功能。作为RKLLM-Toolkit的核心功能之一,它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型,从而将RKLLM模型在Rockchip NPU上加载运行。

(4)编译DeepSeek-R1程序

安装交叉编译工具链,以编译RKLLM Runtime可执行文件,该程序包含模型初始化、模型推理、回调函数处理输出和模型资源释放等全部流程。

(5)模型部署

将编译好的RKLLM模型和可执行文件上传至板端即可执行,这样就可以在ELF 2学习板的调试串口上和DeepSeek-R1对话了,而且无需联网。

二、效果展示

DeepSeek-R1是一款多功能的人工智能助手,它在多个领域内均能提供高效而全面的支持。即便是本地离线版本,无论是日常的信息检索需求、专业设备的维修指导建议、复杂数学问题的解答,还是编程任务的辅助完成,R1都能凭借其强大的数据处理能力和广博的知识储备库,给出既准确且实用的建议,成为用户在各领域探索时的可靠伙伴。

(1)普通信息搜索

DeepSeek-R1能够快速检索并提供准确的信息。例如,当询问“保定飞凌嵌入式技术有限公司”时,DeepSeek-R1可以详细介绍该公司的背景、主营业务、产品特点等,帮助用户全面了解该公司的情况。

1 保定飞凌嵌入式技术有限公司搜索

(2)专业设备问题维修意见

对于专业设备问题,DeepSeek-R1能够提供详细的故障分析和解决方案。例如,针对PLC报错误码E01的问题,R1分析可能造成故障的原因,如电源问题、接线错误或硬件故障,并提供相应的解决步骤,帮助用户快速排除故障。

2 PLC故障码(1)

(3)数学题解答

DeepSeek-R1拥有卓越的数学运算能力,擅长攻克各类数学难题。举例来说,在面对红蓝铅笔的采购问题时,它能够巧妙地构建方程组并迅速求解,精确计算出红铅笔与蓝铅笔的应购数量,为用户提供即时且准确的解决方案。不仅如此,DeepSeek-R1还附带了详尽的验证步骤,确保结果的准确无误。

3 红蓝铅笔数学问题

(4)编程任务

DeepSeek-R1在编程方面表现出色,能够根据用户需求编写代码。例如,针对ELF 2学习板的串口通信需求,R1可以提供完整的C语言示例程序,包括串口初始化、数据接收和发送等功能,帮助用户实现串口通信。

4 串口编程

从上述视频中不难发现,DeepSeek-R1在众多领域内彰显了其卓越的实用价值与高效性能,已然成为各位小伙伴工作学习中不可或缺的智能伙伴。

三、性能测评

在完成移植后我们进行了全面的性能评测,以验证 DeepSeek-R1在ELF 2学习板上的运行效果。经过详细的测试与对比,归纳了以下几个关键性能指标:

实时性:从视频播放中可以看到,DeepSeek-R1输出的回答结果清晰且流畅,未出现任何延迟或卡顿现象。

CPU占用:DeepSeek-R1在ELF 2学习板上运行的CPU占用为12%~17%,这一表现证明了框架的高效性,使其即便在资源受限的设备上也能顺利运行,扩展了其应用场景和商业潜力。

图片

内存占用:在进行上述功能测试时,DeepSeek-R1的内存占用约为825MB。这保证了系统的流畅运行,避免了由于内存不足引起的性能问题,使得用户的应用体验更加顺畅。

图片

NPU占用:由下图可见DeepSeek-R1在ELF 2学习板上运行时,能够更高效地分配计算资源,其NPU(神经处理单元)的三个核心负载均达到了83%。

图片

在此次演示中,我们全面展示了DeepSeek-R1的实际应用成效,其强大功能与高效能表现得到了有力证明。后续文章中将详细介绍DeepSeek-R1向ELF 2学习板的移植细节,包括多样化的移植方式及操作步骤。如果屏幕前的小伙伴对这一过程感兴趣,欢迎持续关注我们,期待与您在嵌入式教育的道路上探索更多可能性!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/69694.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DeepSeek本地部署_桌面版AnythingLLM本地知识库搭建

一.DeepSeek本地部署 1.下载并安装:ollama Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/download 安装是否成功确认,管理员权限运行PowerShell: ollama -h 2.下载安装DeepSeek 管理员方式运行PowerShell&#…

DeepSeek+3D视觉机器人应用场景、前景和简单设计思路

DeepSeek3D视觉机器人在多个领域具有广泛的应用场景和巨大的前景。以下是详细的分析: 应用场景 制造业 自动化装配:机器人可以精确地抓取和装配零件,提高生产效率和产品质量。 质量检测:通过3D视觉技术检测产品缺陷,确…

BGP基础协议详解

BGP基础协议详解 一、BGP在企业中的应用二、BGP概述2.1 BGP的特点2.2 基本配置演示2.3 抓包观察2.4 BGP的特征三、BGP对等体关系四、bgp报文4.1 BGP五种报文类型(重点)4.2 BGP报文格式-报文头格式4.3 Open报文格式4.4 Update报文格式4.5 Notification报文格式4.6 Route-refre…

2025.2.10 每日学习记录3:技术报告只差相关工作+补实验

0.近期主任务线 1.完成小论文准备 目标是3月份完成实验点1的全部实验和论文。 2.准备教资笔试 打算留个十多天左右,一次性备考笔试的三个科目 1.实习申请技术准备:微调、Agent、RAG 据央视财经,数据显示,截至2024年12月…

C++14 新特性解析

C++14 作为 C++11 的增量更新,主要目标是完善和扩展 C++11 的特性,提升开发效率和代码灵活性。以下是 C++14 的核心特性解析: 1. 通用 Lambda 表达式(Generic Lambdas) 说明:Lambda 参数支持 auto 关键字,使 Lambda 成为隐式的函数模板。示例:auto add = [](auto a, au…

第9章 城市基础设施更新工程 9.1 道路改造施工

9.1 道路改造施工 9.1.1 道路改造施工内容 沥青、水泥混凝土、砌块路面及人行步道、绿化照明、附属设施、交通标志。沥青路面材料的再生利用。 9.1.2 道路改造施工技术 1.沥青路面病害及微表处理 1.病害处理 裂缝处理 10mm以内 专用灌缝材料、热沥青灌缝、缝内潮湿时采用…

flutter isolate到底是啥

在 Flutter 中,Isolate 是一种实现多线程编程的机制,下面从概念、工作原理、使用场景、使用示例几个方面详细介绍: 概念 在 Dart 语言(Flutter 开发使用的编程语言)里,每个 Dart 程序至少运行在一个 Isol…

算法 ST表

目录 前言 一,暴力法 二,打表法 三,ST表 四,ST表的代码实现 总结 前言 ST表的主要作用是在一个区间里面寻找最大值,具有快速查找的功能,此表有些难,读者可以借助我的文章和网上的课程结…

力扣——【2149. 按符号重排数组】

#创新点 1、创新:“#”后为原始思路,在题解中,提供了一个新代码,可以少创建一个列表 nums[::2],nums[1::2]a,b 2、创新:在修改后的基础上,可以再减少一个列表的创建,即使用一个for循环&#…

25考研材料复试面试常见核心问题真题汇总,材料考研复试面试有哪些经典问题?材料考研复试过程最看重什么内容?

材料复试面试难!千万不要死磕!复试是有技巧的! 是不是刷了三天三夜经验贴,还是不知道材料复试会问啥?去年我复试时被导师连环追问"非晶合金的原子扩散机制",差点当场宕机...今天学姐掏心窝总结&…

Docker Compose介绍及安装使用MongoDB数据库详解

在现代容器化应用部署中,Docker Compose是一种非常实用的工具,它允许我们通过一个docker-compose.yml文件来定义和运行多容器应用程序。然而,除了Docker之外,Podman也提供了类似的工具——Podman Compose,它允许我们在…

netcore openTelemetry+prometheus+grafana

一、netcore项目 二、openTelemetry 三、prometheus 四、grafana添加Dashborad aspire/src/Grafana/dashboards at main dotnet/aspire GitHub 导入:aspnetcore.json和aspnetcore-endpoint.json 效果:

maven web项目如何定义filter

在 Maven Web 项目中定义一个 Servlet 过滤器(Filter),需要遵循 Java Servlet 规范,并利用 Maven 来管理项目结构和依赖。下面是如何在 Maven Web 项目中定义和配置一个过滤器的基本步骤: 1. 创建过滤器类 首先&…

KVM虚拟化快速入门,最佳的开源可商用虚拟化平台

引言 在信息技术飞速发展的时代,服务器资源的高效利用成为企业关注的焦点。KVM 虚拟化作为一种先进的虚拟化技术,在众多虚拟化方案中脱颖而出,为企业实现服务器资源的优化配置提供了有效途径。 以往,物理服务器的资源利用效率较…

团结引擎“虚拟阴影贴图”能力解析

在团结引擎 1.4.0 版本中,我们发布了重磅功能:虚拟阴影贴图(Virtual Shadow Maps,VSM),全面升级开发体验,为开发者提供更加逼真的光影效果。 虚拟阴影贴图介绍 虚拟阴影贴图(Virtua…

docker.service job docker.service/start failed with result ‘dependency‘

Bug:docker.service job docker.service/start failed with result ‘dependency’ 运行以下命令: sudo systemctl start docker.service出现错误: docker.service job docker.service/start failed with result dependency解决办法: 给系…

docker 逃逸突破边界

免责声明 本博客文章仅供教育和研究目的使用。本文中提到的所有信息和技术均基于公开来源和合法获取的知识。本文不鼓励或支持任何非法活动,包括但不限于未经授权访问计算机系统、网络或数据。 作者对于读者使用本文中的信息所导致的任何直接或间接后果不承担任何…

在JVM的栈(虚拟机栈)中,除了栈帧(Stack Frame)还有什么?

在JVM的栈(虚拟机栈)中,除了栈帧(Stack Frame),还有其他一些与方法调用相关的重要信息。栈的主要作用是存储方法调用的执行过程中的上下文信息,栈帧是其中最关键的组成部分。 栈的组成 栈帧&am…

SaaS+AI应用架构:业务场景、智能体、大模型、知识库、传统工具系统

SaaSAI应用架构:业务场景、智能体、大模型、知识库、传统工具系统 大家好,我是汤师爷~ 在SaaS与AI应用的演进过程中,合理的架构设计至关重要。本节将详细介绍其五个核心层次: 业务场景层:发现和确定业务场景智能体层…

使用 Visual Studio Code (VS Code) 开发 Python 图形界面程序

安装Python、VS Code Documentation for Visual Studio Code Python Releases for Windows | Python.org 更新pip >python.exe -m pip install --upgrade pip Requirement already satisfied: pip in c:\users\xxx\appdata\local\programs\python\python312\lib\site-pa…