书生·浦语大模型实战营-学习笔记5

LMDeploy 大模型量化部署实践

在这里插入图片描述

在这里插入图片描述

大模型部署背景


在这里插入图片描述

LMDeploy简介

轻量化、推理引擎、服务
在这里插入图片描述
在这里插入图片描述

核心功能-量化

显存消耗变少了
在这里插入图片描述
在这里插入图片描述
大语言模型是典型的访存密集型任务，因为它是decoder-by-decoder

先把数据量化为INT4存起来，算的时候会反量化为FP16
在这里插入图片描述
AWQ算法：观察到模型在推理过程中，只有一小部分参数是重要的参数，这部分参数不量化，其他的参数量化，这样保留了显存，性能也不会下降多少

核心功能-推理引擎

在这里插入图片描述
不用等到整个batch结束
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

核心功能-推理服务api server

在这里插入图片描述

动手实践环节

https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/644398.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Angular组件(一) 分割面板ShrinkSplitter

Angular组件(一) 分割面板ShrinkSplitter

Angular组件(一) 分割面板ShrinkSplitter 前言 分割面板在日常开发中经常使用，可将一片区域，分割为可以拖拽整宽度或高度的两部分区域。模仿iview的分割面板组件，用angular实现该功能，支持拖拽和[(ngModel)]双向绑定的方式控制区…
阅读更多...
Docker容器引擎(2)

Docker容器引擎(2)

目录 一.批量删除镜像，容器 二.Docker 网络实现原理 随机映射端口（从32768开始） 访问自己： 在10服务器上配置路由转发： 指定映射端口： 查看容器的输出和日志信息： 将宿主机目标|文件挂载…
阅读更多...
RabbitMQ中交换机的应用及原理，案例的实现

RabbitMQ中交换机的应用及原理，案例的实现

目录 一、介绍 1. 概述 2. 作用及优势 3. 工作原理 二、交换机Exchange 1. Direct 2. Topic 3. Fanout 三、代码案例 消费者代码 1. 直连direct 生产者代码 测试 2. 主题topic 生产者代码 测试 3. 扇形fanout 生产者代码 测试 每篇一获 一、介绍 1. …
阅读更多...
Vue的生命周期方法

Vue的生命周期方法

beforeCreate 在实例初始化之后，数据观测（data observe）和 event/watcher 事件配置之前被调用。在当前阶段 data、methods、computed 以及 watch 上的数据和方法都不能被访问。 created 实例已经创建完成之后被调用。在这一步，实…
阅读更多...
【JavaEE进阶】 MyBatis使用注解实现增删改查

【JavaEE进阶】 MyBatis使用注解实现增删改查

文章目录 🍃前言🌴传递参数🎋增(Insert)🚩返回主键 🎄删(Delete)🌲改(Update)🌳查(Select)🚩起别名🚩结果映射🚩开启驼峰命名(推荐使用) ⭕总结 &#x1f343…
阅读更多...
使用curl测试响应式输出的接口

使用curl测试响应式输出的接口

http://127.0.0.1:9010/v1/communicationRecord/summary 传递的json参数，是一个响应式的接口，怎么修改这个参数，可以响应式的输出。 为了使用curl命令对您的接口进行流式输出测试，您需要构造一个curl请求，该请求向您的…
阅读更多...
[UI5 常用控件] 01.Text

[UI5 常用控件] 01.Text

文章目录 前言1. 普通文本2. 长文本：3. 设置最大显示行数 ( maxLines3 )4. 单行显示 ( wrappingfalse )5. 显示空白符 ( renderWhitespacetrue )6. 使用 - 连接单词:只适用于英文 ( wrappingTypeHyphenated )7. 空白时使用 - 代替 ( emptyIndicatorModeOn )8. JSON数…
阅读更多...
行内样式css不生效

行内样式css不生效

场景&#xff1a; 别人的代码里有样式是写在行内的&#xff0c;且设置了display:block&#xff1b;没有生效&#xff0c;也没有被覆盖样式&#xff0c;很奇怪。 <span style"width:90px;display:block;">很多字&#xff0c;style也很长&#xff0c;中间换行了…
阅读更多...
2024年需要重点关注的15种计算机病毒

2024年需要重点关注的15种计算机病毒

2024年&#xff0c;计算机病毒威胁变得愈发多元化和复杂化。涉及勒索病毒、二维码病毒、挖矿木马等15种类型&#xff0c;这些病毒从数据勒索到系统入侵&#xff0c;对全球网络安全构成严峻挑战。 2024年&#xff0c;计算机病毒威胁变得愈发多元化和复杂化。涉及勒索病毒、二维码…
阅读更多...
【网络安全】常见的网络威胁有哪些？

【网络安全】常见的网络威胁有哪些？

随着互联网的快速发展&#xff0c;网络安全问题日益凸显。常见的网络威胁包括病毒、木马、恶意软件等。这些威胁不仅会影响计算机的安全运行&#xff0c;还会窃取用户的个人信息&#xff0c;造成巨大的损失。因此&#xff0c;我们需要采取一些措施来保护自己的网络安全。 常见的…
阅读更多...
ardupilot 方向余弦矩阵/旋转矩阵的理解

ardupilot 方向余弦矩阵/旋转矩阵的理解

目录 文章目录 目录摘要1.序言2.方向余弦矩阵2.1 方向余弦矩阵定义2.2 方向余弦矩阵的特点2.3 方向余弦矩阵微分方程2.4 方向余弦矩阵微分方程求解摘要 本节主要记录自己对ardupilot中用到的方向余弦矩阵/旋转矩阵的理解，欢迎批评指正，有些资料参考网上写的比较好的资料，免…
阅读更多...
深入理解Java LinkedList：使用场景与实际应用

深入理解Java LinkedList：使用场景与实际应用

深入理解Java LinkedList&#xff1a;使用场景与实际应用 在Java的世界里&#xff0c;集合框架是不可或缺的一部分&#xff0c;它提供了一系列用于存储和操作数据集合的接口和类。其中&#xff0c;LinkedList作为List接口的一个实现&#xff0c;经常被拿来与ArrayList做对比。…
阅读更多...
android 图片添加水印

android 图片添加水印

android 图片添加水印 本文主要讲下android 中如何给图片添加水印. 在Android中给图片添加水印可以使用Bitmap、Matrix和Canvas类的方法来实现. private Bitmap addWater() {// 加载原始图片Bitmap sourceBitmap BitmapFactory.decodeResource(getResources(), R.mipmap.sou…
阅读更多...
Vue+OpenLayers7：OpenLayers7地图初始化时如何设置默认缩放级别、设置默认地图中心点、最大缩放级别和最小缩放级别以及默认坐标系

Vue+OpenLayers7：OpenLayers7地图初始化时如何设置默认缩放级别、设置默认地图中心点、最大缩放级别和最小缩放级别以及默认坐标系

返回《Vue+OpenLayers7》专栏目录：Vue+OpenLayers7 本章讲解OpenLayers7地图初始化时如何设置默认缩放级别、设置默认地图中心点、最大缩放级别和最小缩放级别以及默认坐标系等配置。 前言 OpenLayers7地图初始化时如何设置默认缩放级别、初始化时设置默认地图中心点、设置…
阅读更多...
启动mitmproxy报错 ImportError: cannot import name ‘url_quote‘ from ‘werkzeug.urls‘

启动mitmproxy报错 ImportError: cannot import name ‘url_quote‘ from ‘werkzeug.urls‘

报错截图 ImportError: cannot import name url_quote from werkzeug.urls (d:\soft\python\python38\lib\site-packages\werkzeug\urls.py) 原因是Werkzeug版本不兼容导致 解决方法 pip install Werkzeug2.2.2
阅读更多...
大数据学习之Flink算子、了解（Source）源算子（基础篇二）

大数据学习之Flink算子、了解（Source）源算子（基础篇二）

Source源算子&#xff08;基础篇二&#xff09; 目录 Source源算子&#xff08;基础篇二&#xff09; 二、源算子&#xff08;source&#xff09; 1. 准备工作 2.从集合中读取数据 可以使用代码中的fromCollection()方法直接读取列表 也可以使用代码中的fromElements()方…
阅读更多...
北斗短报文DTU 北斗通信DTU无线数传终端

北斗短报文DTU 北斗通信DTU无线数传终端

北斗是我国自主建设的卫星导航系统&#xff0c;被广泛应用于全球定位、导航和时间同步等领域。随着物联网的迅猛发展&#xff0c;北斗短报文DTU作为物联网连接的关键技术&#xff0c;成为了各行各业的热门话题。 ** 一、北斗短报文DTU的概念与特点 ** 　　北斗短报文DTU(Data…
阅读更多...
sudo 授权问题

sudo 授权问题

sudo 表示 “superuser do”&#xff0c;它允许已验证的用户以其他用户的身份来运行命令。其他用户可以是普通用户或者超级用户。然而&#xff0c;大部分时候我们用它来提权运行命令&#xff0c;以替代直接使用 root 用户的操作。 sudo 命令与安全策略配合使用&#xff0c;安全…
阅读更多...
二叉树知识

二叉树知识

提示&#xff1a;文章 文章目录 前言一、背景二、 2.1 2.2 总结 前言 前期疑问&#xff1a; 本文目标&#xff1a; 一、背景 二、二叉树初始知识 题目 源于做的一道牛课题 若一颗完全二叉树中某节点无左孩子&#xff0c;则该节点是 A、高度为1的节点 B、高度为2的节点…
阅读更多...
Redis持久化和集群架构

Redis持久化和集群架构

目录 Redis持久化 RDB快照&#xff08;snapshot&#xff09; RDB优点 RDB缺点 RDB的触发机制 AOF持久化 AOF文件重写 AOF触发机制 混合模式 Redis主从架构 Redis哨兵高可用架构 Redis Cluster架构 槽位定位算法 跳转重定位 Redis集群节点间的通信机制 Redis持久化…
阅读更多...
最新文章

Copyright @ 2022~2023