【IntermLM2】学习笔记

微调方式
在大模型的下游应用中，可以有两种微调方式

  1. 增量续训
    即无监督的方式，让模型学习一些新知识，比如某些垂直领域的新知识
    使用的数据有：书籍，文章，代码等
  2. 有监督微调
    为了让模型学会理解指令进行对话，或者注入少量的领域知识
    使用的数据为高质量的对话和问答的数据
    全量参数微调
    部分参数微调 （lora等）

扩展上下文长度
必要性：
1. 检索增强生成（RAG）需要检索的时候返回很长的上下文
2. Agent应用时，用户的历史对话数据很长

LLaMA的transformer的更新

  1. 将 LayerNorm （Ba et al.， 2016） 替换为 RMSNorm （Zhang & Sennrich， 2019）
  2. 将激活函数设置为 SwiGLU （Shazeer， 2020）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/785381.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

openstack云计算（二）——使用Packstack安装器安装一体化OpenStack云平台

openstack云计算（二）——使用Packstack安装器安装一体化OpenStack云平台

初步掌握OpenStack快捷安装的方法。掌握OpenStack图形界面的基本操作。 一【准备阶段】 （1）准备一台能够安装OpenStack的实验用计算机，建议使用VMware虚拟机。 （2）该计算机应安装CentOS 7，建议采用CentO…
阅读更多...
基于Sermant的全链路灰度发布在汽车行业DMS系统的应用

基于Sermant的全链路灰度发布在汽车行业DMS系统的应用

作者：聂子雄 华为云高级软件工程师 摘要 随着汽车产业的智能升级，DMS系统作为汽车行业的经销管理系统也面临着更加多种多样的业务场景的挑战。借助Sermant，华为云能够为DMS系统提供一整套端到端全链路灰度发布方案，这套方案可以…
阅读更多...
深度学习训练中常用的三个基础库tqdmargparseyaml

深度学习训练中常用的三个基础库tqdmargparseyaml

文章目录 训练常用工具[tqdm][argparse][yaml]tqdm1. 导入tqdm2. 传入可迭代对象快速使用进阶1：通过update()自定义进度条每次更新的步长进阶2：通过set_description和set_postfix自定义进度条内容 Argparse第一步：创建ArgumentParser对象第二…
阅读更多...
机器学习在智能音箱中的应用探索与实践：让声音更懂你

机器学习在智能音箱中的应用探索与实践：让声音更懂你

🧑 作者简介：阿里巴巴嵌入式技术专家，深耕嵌入式人工智能领域，具备多年的嵌入式硬件产品研发管理经验。 📒 博客介绍：分享嵌入式开发领域的相关知识、经验、思考和感悟,欢迎关注。提供嵌入式方向的学习指导…
阅读更多...
在Compose中方便的使用MVI思想？试试useReducer！

在Compose中方便的使用MVI思想？试试useReducer！

写在前面 本文中提及的use开头的函数，都出自与我的 ComposeHooks 项目，它提供了一系列 React Hooks 风格的状态封装函数，可以帮你更好的使用 Compose，无需关系复杂的状态管理，专心于业务与UI组件。 这是系列文章的第…
阅读更多...
2024 ccfcsp认证打卡 2023 03 01 田地丈量

2024 ccfcsp认证打卡 2023 03 01 田地丈量

import java.util.Scanner;public class Main {public static void main(String[] args) {Scanner in new Scanner(System.in);int n in.nextInt(); // 输入 n，表示矩形的数量int a in.nextInt(); // 输入 a，表示整个区域的长度int b in.nextInt()…
阅读更多...
Hive详解（5）

Hive详解（5）

Hive 窗口函数 案例 需求：连续三天登陆的用户数据 步骤： -- 建表 create table logins (username string,log_date string ) row format delimited fields terminated by ; -- 加载数据 load data local inpath /opt/hive_data/login into table log…
阅读更多...
如何在Portainer中创建Nginx服务并搭建静态站点实现公网访问本地网站

如何在Portainer中创建Nginx服务并搭建静态站点实现公网访问本地网站

文章目录 前言1. 安装Portainer1.1 访问Portainer Web界面 2. 使用Portainer创建Nginx容器3. 将Web静态站点实现公网访问4. 配置Web站点公网访问地址4.1公网访问Web站点 5. 固定Web静态站点公网地址6. 固定公网地址访问Web静态站点 前言 Portainer是一个开源的Docker轻量级可视…
阅读更多...
Nginx入门 -- 理解Nginx基础概念：连接（Connection）

Nginx入门 -- 理解Nginx基础概念：连接（Connection）

在Nginx中，连接（Connection）是一个基础而又关键的概念。它涉及到服务器与客户端之间的通信、并发处理以及网络性能优化等方面。本文将深入探讨Nginx中连接的概念、类型以及相关的优化策略，帮助读者更好地理解和利用Nginx来构建高性…
阅读更多...
报错：TypeError: Cannot handle this data type: (1, 1, 3), ＜f8

报错：TypeError: Cannot handle this data type: (1, 1, 3), ＜f8

报错内容： 解决方法： 这个错误是由于 PIL 库无法处理特定的数据类型引起的。为了解决这个问题，你可以尝试将数据类型转换为 PIL 可以处理的类型，比如转换为 uint8 类型。你可以在调用 Image.fromarray() 方法之前，将…
阅读更多...
SQL，group by分组后分别计算组内不同值的数量

SQL，group by分组后分别计算组内不同值的数量

SQL，group by分组后分别计算组内不同值的数量 如现有一张购物表shopping 先要求小明和小红分别买了多少笔和多少橡皮，形成以下格式 SELECT name,COUNT(*) FROM shopping GROUP BY name;SELECT name AS 姓名,SUM( CASE WHEN cargo 笔 THEN 1 ELSE 0 END)…
阅读更多...
Java中copy 一个list，不用BeanUtils.copyProperties

Java中copy 一个list，不用BeanUtils.copyProperties

1.List不起作用（单个对象拷贝有用，list没有用） cn.hutool.core.bean.BeanUtils.copyProperties(a, b); org.springframework.beans.BeanUtils.copyProperties(a, b); 2.有效（使用JSONObject 先转成字符串再转成List对象&#x…
阅读更多...
Java基础知识总结（31）

Java基础知识总结（31）

函数式接口 所谓函数式接口，就是接口中有且只能有一个抽象方法。用FunctionalInterface注解标注，接口可以包含多个默认方法、类方法，私有方法。 方法引用 如果Lambda 表达式的代码块只有一条代码，还可以在代码块中使用方法引用…
阅读更多...
Qt QML 坐标转换函数

Qt QML 坐标转换函数

QML坐标转换 版本相关函数 版本 Qt5.15 相关函数 下面这些函数是隶属于Item的 /// Item object mapFromGlobal(real x, real y) object mapFromItem(Item item, rect r) object mapFromItem(Item item, real x, real y, real width, real height) object mapFromItem(Item …
阅读更多...
安装使用Scoop

安装使用Scoop

目标 今天看到一款用于windows系统的包管理工具Scoop，可以在powershell的命令行里安装软件，省去了找软件、配置环境等步骤，看起来还是很香的，正好最近再做csapp的家庭作业，安装个gcc看看是不是这么牛 安装Scoop 按照…
阅读更多...
使用CRXjs、Vite、Vue 开发 Chrome 多页面插件，手动配置 vite.config.ts 和 manifest.json 文件

使用CRXjs、Vite、Vue 开发 Chrome 多页面插件，手动配置 vite.config.ts 和 manifest.json 文件

一、使用CRXjs、Vite、Vue 开发 Chrome 多页面插件，手动配置 vite.config.ts 和 manifest.json 文件 一、创建 Vue 项目 1. 使用 Vite 创建 Vue 项目 npm create vitelatest # npm yarn create vite # yarn pnpm create vite # pnpm选择 Vue 和 TS 进入项目…
阅读更多...
在Windows中使用NVM安装node.js

在Windows中使用NVM安装node.js

NVM介绍 Node.js版本管理器（Node Version Manager），简称NVM，是一款用于在单个系统上轻松安装和管理多个Node.js版本的命令行工具。它允许用户根据项目需求在不同版本之间自由切换，解决了因为不同项目依赖于不同Node.j…
阅读更多...
Golang与Java：两种编程语言的对比

Golang与Java：两种编程语言的对比

Golang与Java：两种编程语言的对比 在编程世界中，Golang和Java是两种非常流行的编程语言，它们各自具有独特的优势和特点。本文将对这两种语言进行详细对比，帮助开发者了解它们之间的差异，以便根据项目需求选择合适的编…
阅读更多...
Python快速入门系列-6（Python高级特性）

Python快速入门系列-6（Python高级特性）

第六章： Python高级特性 6.1 列表推导式与生成器6.1.1 列表推导式6.1.2 生成器6.1.2.1 生成器表达式6.1.2.2 生成器函数6.2 装饰器与迭代器6.2.1 装饰器6.2.2 迭代器6.3 异常处理与错误调试6.3.1 异常处理6.3.1.1 try-except语句6.3.1.2 try-except-else语句6.3.2 错误调试6.3…
阅读更多...
【缺陷】硅光电二极管中的DT侧壁陷阱态的DLTS表征

【缺陷】硅光电二极管中的DT侧壁陷阱态的DLTS表征

【A DLTS study on Deep Trench Processing induced Trap States in Silicon Photodiodes】 概括 本研究通过深能级瞬态光谱（DLTS）技术对硅光电二极管中的深沟槽（DT）侧壁诱导的陷阱态进行了详细分析。研究发现，这些陷…
阅读更多...
最新文章

Copyright @ 2022~2023