笔记本跑大模型尝试

1,笔记本电脑资源

我是一台联想笔记本电脑,基本配置如下:

CPU:12th Gen Intel(R) Core(TM) i7-1255U   1.70 GHz  (12核心,2个P核和8个E核,共计10个核心)

显卡:NVIDIA GeForce MX550

内存:40.0 GB

操作系统:Windows 10 专业版

想初步评估下用LM studio下载一个本地大模型运行试试看。

2.下载LM studio及大模型参数

直接到LM的网站下载

LM Studio - Discover, download, and run local LLMs

之后直接安装,安装完成后,可以查看配置:

下载大模型参数:

如上,结果没有出现大模型的列表,提示:

There was an error fetching results from Hugging Face, please try again in a little bit

这个应该是无法访问 Hugging Face,直接浏览器访问:huggingface.co

果然无法访问,那应该是网络屏蔽了, 科学上网试试,果然就可以了。

之后LM studio就可以看到大模型列表了,下载一个8B的deepseek的模型:

deepseek-r1-distill-llama-8b-abliterated

速度很快就下载完成。

3. 加载大模型

下载完成后,直接默认加载,加载部分后,提示错误:

Failed to load model

unable to allocate backend buffer

问大模型,告知可能原因:

  1. 内存不足
  2. 显存不足
  3. 模型损坏
  4. 驱动或库不匹配
  5. 软件问题等

为了确保模型文件OK,再下载了一个模型:

deepseek-r1-distill-qwen-7b

完成后,选择一个加载。

默认配置如下加载

加载到35%左右,会提示失败:

这个一般是内存不足了(也有可能是模型数据有问题,但我是直接下载后执行的,不是拷贝过来的,而且下载了两个模型都提示这个,所以应该就不是这个问题)。

修改下参数,如下:

之后就加载成功了,完成之后,可以提交问题。

4. 选择大模型运行

对话框提交一个问题:

在此期间,内存基本保持4.5GB,在thinking问题时,CPU保持在33%左右。

回答问题的时间:

回答时间长,而且回答非常简短,参考意义不大,同样的问题提交给文心一言,3S内给出答案,比较全面,如下:

5.总结

我的笔记本资源还算可以,内存40G,独立显卡,12核CPU,这样的配置部署一个本地7B的本地大模型,计算速度太慢了,资源占用也比较大,一个简单问题,明显CPU的风扇声音就起来了,由此看出哪怕是小参数的大模型,对硬件要求也是很高的,显存不大的电脑,还真运行不了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/67336.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C语言实现扫雷游戏(有展开一片和标记雷的功能)

实现准备 分2个.c源文件和1个.h头文件去写代码 test.c 对扫雷游戏进行测试game.c 扫雷游戏功能的实现game.h 扫雷游戏功能的声明 扫雷游戏 1.test.c对扫雷游戏进行测试 首先我们要先把玩游戏的框架写出来,然后一步一步去完成其功能 跟着下面的代码的节奏走一步一步…

GitHub 仓库的 Archived 功能详解:中英双语

GitHub 仓库的 Archived 功能详解 一、什么是 GitHub 仓库的 “Archived” 功能? 在 GitHub 上,“Archived” 是一个专门用于标记仓库状态的功能。当仓库被归档后,它变为只读模式,所有的功能如提交代码、创建 issue 和 pull req…

基础IO(2)

基础IO(2) 理解“⼀切皆⽂件” ⾸先,在windows中是⽂件的东西,它们在linux中也是⽂件;其次⼀些在windows中不是⽂件的东西,⽐如进程、磁盘、显⽰器、键盘这样硬件设备也被抽象成了⽂件,你可以使…

Transformation,Animation and Viewing

4 Transformation,Animation and Viewing 声明:该代码来自:Computer Graphics Through OpenGL From Theory to Experiments,仅用作学习参考 4.1 Modeling Transformations 平移、缩放和旋转,即 OpenGL 的建模转换&…

Deepseek的RL算法GRPO解读

在本文中,我们将深入探讨Deepseek采用的策略优化方法GRPO,并顺带介绍一些强化学习(Reinforcement Learning, RL)的基础知识,包括PPO等关键概念。 策略函数(policy) 在强化学习中, a…

【python】python基于机器学习与数据分析的二手手机特性关联与分类预测(源码+数据集)【独一无二】

👉博__主👈:米码收割机 👉技__能👈:C/Python语言 👉专__注👈:专注主流机器人、人工智能等相关领域的开发、测试技术。 python基于机器学习与数据分析的二手手机特性关联与…

手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion(代码)

手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion(代码) 目录 手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion(代码)Stable Diffusion 原理图Stable Diffusion的原理解释Stable Diffusion 和Di…

前端【8】HTML+CSS+javascript实战项目----实现一个简单的待办事项列表 (To-Do List)

目录 一、功能需求 二、 HTML 三、CSS 四、js 1、绑定事件与初始设置 2.、绑定事项 (1)添加操作: (2)完成操作 (3)删除操作 (4)修改操作 3、完整js代码 总结…

C++标准线程库实现优雅退出的方式

目录 1.通过设置共享退出标记 2.使用std::jthread创建线程 3.定义消息类型的方式 4.注意事项 1.通过设置共享退出标记 定义一个退出变量bool stop false; 表示线程是否应该停止。在主线程中设置标记stoptrue,然后join一直等待,然后线程循环检测到stop是否为tru…

Java学习教程,从入门到精通,JDBC插入记录语法及案例(104)

JDBC插入记录语法及案例 一、JDBC插入记录语法 在JDBC中,插入记录主要通过执行SQL的INSERT语句来实现。其基本语法如下: INSERT INTO 表名 (列1, 列2, ..., 列n) VALUES (值1, 值2, ..., 值n);表名:需要插入记录的表的名称。列1, 列2, …,…

vue事件总线(原理、优缺点)

目录 一、原理二、使用方法三、优缺点优点缺点 四、使用注意事项具体代码参考: 一、原理 在Vue中,事件总线(Event Bus)是一种可实现任意组件间通信的通信方式。 要实现这个功能必须满足两点要求: (1&#…

图像处理之HSV颜色空间

目录 1 RGB 的局限性 2 HSV 颜色空间 3 RGB与HSV相互转换 4 HSV颜色模型对图像的色相、饱和度和明度进行调节 5 演示Demo 5.1 开发环境 5.2 功能介绍 5.3 下载地址 参考 1 RGB 的局限性 RGB 是我们接触最多的颜色空间,由三个通道表示一幅图像,分…

DeepSeek是由杭州深度求索人工智能基础技术研究有限公司(简称“深度求索”)发布的一系列人工智能模型

DeepSeek是由杭州深度求索人工智能基础技术研究有限公司(简称“深度求索”)发布的一系列人工智能模型,其在知识类任务上展现出了卓越的性能。以下是对DeepSeek的详细介绍,内容虽无法达到10000字,但会尽可能全面且深入地…

【C++高并发服务器WebServer】-9:多线程开发

本文目录 一、线程概述1.1 线程和进程的区别1.2 线程之间共享和非共享资源1.3 NPTL 二、线程操作2.1 pthread_create2.2 pthread_exit2.3 pthread_join2.4 pthread_detach2.5 patch_cancel2.6 pthread_attr 三、实战demo四、线程同步五、死锁六、读写锁七、生产消费者模型 一、…

14-6-1C++STL的list

(一)list容器的基本概念 list容器简介: 1.list是一个双向链表容器,可高效地进行插入删除元素 2.list不可以随机存取元素,所以不支持at.(pos)函数与[ ]操作符 (二)list容器头部和尾部的操作 list对象的默…

在sortablejs的拖拽排序情况下阻止input拖拽事件

如题 问题 在vue3的elementPlus的table中,通过sortablejs添加了行拖拽功能,但是在行内会有输入框,此时拖拽输入框会触发sortablejs的拖拽功能 解决 基于这个现象,我怀疑是由于拖拽事件未绑定而冒泡到后面的行上从而导致的拖拽…

21.Word:小赵-毕业论文排版❗【39】

目录 题目​ NO1.2 NO3.4 NO5.6 NO7.8.9 NO10.11.12 题目 NO1.2 自己的论文当中接收老师的修改:审阅→比较→源文档:考生文件夹:Word.docx→修订的文档:考生文件夹:教师修改→确定→接收→接收所有修订将合并之…

leetcode_链表 876.链表的中间节点

876.链表的中间节点 给你单链表的头结点 head ,请你找出并返回链表的中间结点。如果有两个中间结点,则返回第二个中间结点。思路:快慢指针,创建两个指针fast和slow,fast指针每次移动两步,slow指针每次移动…

深度学习 DAY3:NLP发展史及早期的前馈神经网络(ANN)及多任务学习

NLP发展史 NLP发展脉络简要梳理如下: 2001 - Neural language models(神经语言模型) 2008 - Multi-task learning(多任务学习) 2013 - Word embeddings(词嵌入) 2013 - Neural networks for NL…

全面了解 Web3 AIGC 和 AI Agent 的创新先锋 MelodAI

不管是在传统领域还是 Crypto,AI 都是公认的最有前景的赛道。随着数字内容需求的爆炸式增长和技术的快速迭代,Web3 AIGC(AI生成内容)和 AI Agent(人工智能代理)正成为两大关键赛道。 AIGC 通过 AI 技术生成…