Beyond Chain-of-Thought: A Survey of Chain-of-X Paradigms for LLMs论文阅读笔记(未完待续)

地址:https://arxiv.org/html/2404.15676v1

一些论文合集:https://github.com/atfortes/Awesome-LLM-Reasoning

背景

思维链 (Chain-of-Thought,CoT) 是一种被广泛采用的提示方法,它激发了大型语言模型 (LLMs) 令人印象深刻的推理能力。受 CoT 顺序思维结构的启发,已经开发了许多 Chain-of-X (CoX) 方法,本文是对CoX方法的系统梳理。

Chain-of-Thought 思维链

CoT 提示是一种大幅增强LLMs推理能力的方法。CoT 由 Wei et al. ( 2022) 引入,以<输入、思想、输出>的结构化格式进行提示,其中“T”包括导致最终答案的连贯和中间自然语言推理步骤。CoT 的有效性在需要复杂推理的任务中最为明显。CoT 的本质在于其通过将复杂问题分解为可管理的中间步骤来解决复杂问题的策略,增强其处理复杂问题的能力,例如涉及算术、常识和符号推理的问题 。
CoT 提示也分为few-shot和zero-shot
如:zero-shot CoT by prompting “Let’s think step by step.”

Chain-of-X X链

将 CoX 定义为 CoT 方法的泛化,用于推理之外LLM的各种任务。我们将 CoX 中的 X 称为链结构的“节点”。CoX 的理念是构建一系列与问题相关的组件,这些组件要么以组合方式为解决方案做出贡献,要么以迭代方式优化复杂任务的输出。
除了 CoT 提示中的思想之外,CoX 中的 X 还可以采用针对特定任务量身定制的各种形式,简单可以分为下图几种类型:
在这里插入图片描述
各个分类及本文脉络如下:
请添加图片描述

介绍

Chain-of-Intermediates

CoT 的自然演变涉及用其他类型的中间组件(即中间链)替换思维推理。进一步将它们分为以下亚型。

Problem Decomposition 问题分解

在问题分解中,中间步骤由从原始复杂问题派生的可管理子任务组成。这种方法以经典的思维链提示为例
Li et al. ( 2023a) 进一步扩展了这一点,引入了代码链,它将任务细分为编程子任务,通过模拟代码输出增强推理过程。
同样,Wang 等人 ( 2024) 开发了表链框架。该框架通过一系列战略操作将复杂的表格重组为特定于问题的格式,使数据更易于访问并针对查询进行定制。
此外,Servantez 等人 ( 2024) 引入的逻辑链将逻辑分解应用于基于规则的推理任务,将它们转换为一系列逻辑表达式。方法论的分解有助于更清晰的推理途径。
这些分解方法在事件链Han et al. ( 2024)中也得到了呼应,它将多文档摘要简化为离散且可管理的事件提取任务,从而显着提高了质量并减少了潜在的错误。

Knowledge Composition 知识构成

在知识构成中,中间步骤的主要目标不是简化,而是积累相关信息和证据。这种方法旨在通过深入的理解和细节来丰富解决方案。通过这些证据丰富的方法,LLMs实现对复杂场景的全面和细致入微的理解,从而获得更高质量的输出。
例如,Hu等人(2023b)提出了符号链方法,该方法在空间规划任务中精心收集空间关系,提高了模型的精度和有效性。
同样,La Malfa et al. ( 2024) 采用仿真链提示来确保代码执行的每个步骤都由程序跟踪提供信息,从而避免记忆陷阱。
Wang et al. ( 2023c) 对知识链采取了类似的方法,在每一步都提取了关键的证据,以支持更扎实和可靠的问答环节。这种技术在促进对查询材料的更深入理解方面特别有效。
在视觉任务中,Chain-of-Spot 和 Chain-of-Reasoning 等方法帮助视觉语言模型专注于特定的图像细节,这对于需要详细视觉证据的任务至关重要。

Chain-of-Augmentation

CoX 方法的一个流行变体是 Chain-of-Augmentation,其中链通过额外的知识进行增强。根据增强数据的类型,其分类如下:

Instructions 指令

指令是一种重要的增强,通过复杂的推理或任务执行过程指导LLMs。
例如,Chain-of-Instruct Editing 框架通过生成顺序指令来指导图像编辑任务来利用这一概念,说明了特定版本如何通过关注相关领域来优化输出。
此外,Zha et al. ( 2023) 引入了命令链来解决表操作用户指令中的歧义问题。根据用户说明推断,它能够LLMs采用一系列精确的预定义命令来更准确地执行表格。
在电子商务领域,Li et al. ( 2024b) 通过他们的任务链实现了类似的结构化方法,将客户交互分解为可管理的原子任务,大大简化了复杂的操作。
同样,Hayati 等人 (2024) 提出的指令链框架使用先前步骤的输出作为下一步的指令迭代求解分解的子任务。结果表明,逐步指导可以显著改善复杂问题解决任务的过程和结果。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/829883.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

《HCIP-openEuler实验指导手册》2.1安装和测试Nginx

知识点 Nginx (发音为 “engine x”) 是一个开源的高性能 HTTP 和反向代理服务器&#xff0c;也是一个 IMAP/POP3/SMTP 代理服务器。由 Igor Sysoev 创建并维护&#xff0c;其设计用于处理高并发连接&#xff0c;具有高度的可扩展性和灵活性。 安装步骤 yum方式安装 dn…

go语言实现简单ngnix样例

目录 1、代码实现样例&#xff1a; 2、postman调用ngnix&#xff0c;转发&#xff1a; 1、代码实现样例&#xff1a; package mainimport ("bytes""encoding/json""io""log""net/http""net/http/httputil""…

ruoyi-nbcio-plus基于vue3的flowable收回任务后重新进行提交表单的处理

更多ruoyi-nbcio功能请看演示系统 gitee源代码地址 前后端代码&#xff1a; https://gitee.com/nbacheng/ruoyi-nbcio 演示地址&#xff1a;RuoYi-Nbcio后台管理系统 http://218.75.87.38:9666/ 更多nbcio-boot功能请看演示系统 gitee源代码地址 后端代码&#xff1a; h…

Python AI库 Pandas的常见操作的扩展知识

Python AI库 Pandas的常见操作的扩展知识 本文默认读者具备以下技能&#xff1a; 熟悉python基础知识&#xff0c;vscode或其它编辑工具 熟悉表格文件的基本操作 具备自主扩展学习能力 前文中对Pandas的数据结构以及基础操作做了介绍,本文中会在前文的基础上,对常见的操作进…

selenium拉动滚动条

selenium拉动滚动条 # 导包 from selenium import webdriver from time import sleep # 获取浏览器驱动对象 driver webdriver.Edge() # 最大化浏览器 driver.maximize_window() # 隐式等待 driver.implicitly_wait(30) # 打开url url r"C:\Users\黄永生\Desktop\软件测…

计算机找不到vcruntime140_1.dll,无法继续执行代码快速解决方法

vcruntime140_1.dll是一个重要的Windows操作系统中的动态链接库&#xff08;DLL&#xff09;文件&#xff0c;它是微软Visual C Redistributable软件包的组成部分。以下是该文件的详细介绍&#xff1a; 名称含义&#xff1a;“vcruntime”代表Visual C Runtime&#xff0c;表明…

static page 项目

static page 项目 作者&#xff1a;不染心 博客地址&#xff1a;https://blog.csdn.net/qq_38234785 源码地址&#xff1a;https://mbd.pub/o/bread/ZpWVlJps 未经允许&#xff0c;不得转载 文档版本v1&#xff0c;还没写完持续更新 一、引言 1. 软件概述和背景 本软件是…

STM32f103 HAL库读保护以及解除

读保护 void Flash_EnableReadProtection(void) {FLASH_OBProgramInitTypeDef OBInit;__HAL_FLASH_PREFETCH_BUFFER_DISABLE();HAL_FLASHEx_OBGetConfig(&OBInit);if(OBInit.RDPLevel OB_RDP_LEVEL_0){OBInit.OptionType | OPTIONBYTE_RDP;OBInit.RDPLevel OB_RDP_LEVEL…

FIR滤波器——DSP学习笔记三(包含一个滤波器设计的简明案例)

​​​​​​ 背景知识 FIR滤波器的特性与优点 可精确地实现线性相位响应&#xff08;Linear phase response&#xff09;&#xff0c;无相位失真&#xff1b; 总是稳定的&#xff0c;所有极点都位于原点 线性相位FIR滤波器的性质、类型及零点位置 冲击响应满足&#xff1a;奇…

【PyTorch】torch.gather() 用法

gather常被用于image做mask的操作中&#xff0c;对哪些地方进行赋值0/1 API&#xff1a; torch.gather — PyTorch 2.2 documentation torch.gather(input, dim, index, outNone) → Tensor gather()的意义&#xff1a; 顾名思义&#xff0c;聚集、集合&#xff1a;gather…

VS2019配合QT5.9开发IRayAT430相机SDK

环境配置 VS2019 QT5.9 编译器版本 MSVC2017_64添加系统环境变量&#xff08;完毕后重启电脑&#xff09; 从VS2019中下载Qt插件 从VS2019中添加单个编译组件 上述操作完成后用VS打开工程文件&#xff0c;工程文件地址 &#xff1a; C:\Users\86173\Desktop\IRCNETSDK_W…

数据分析:生存分析原理和应用实例

介绍 生存分析的目的是分析某个时间点的“生存概率”是多少。基于这样的研究目的,需要提供生存数据,它是一种由不同的开始时间和结束时间组成的事件-时间的数据,比如在癌症研究领域,研究手术到死亡的过程、治疗到疾病进展等等。 在开展生存分析前,需要了解什么是删失(c…

时间序列生成数据,TransformerGAN

简介&#xff1a;这个代码可以用于时间序列修复和生成。使用transformer提取单变量或者多变时间窗口的趋势分布情况。然后使用GAN生成分布类似的时间序列。 此外&#xff0c;还实现了基于prompt的数据生成&#xff0c;比如指定生成某个月份的数据、某半个月的数据、某一个星期的…

哈夫曼编码---一种无损数据压缩算法

哈夫曼编码是一种无损数据压缩算法&#xff0c;该算法在数据压缩&#xff0c;存储和网络传输等领域广泛引用&#xff0c;对互联网的发展也产生了深远的影响。 大家熟知的数据无损压缩软件&#xff0c;如WinRAR&#xff0c;gzip&#xff0c;bzip&#xff0c;lzw&#xff0c;7-z…

mac M2 配置item2 rzsz

背景 apple m 系列处理器安装的 homebrew 跟 intel 处理器略有不同&#xff0c;其中安装目录的区别&#xff1a; m 系列处理器安装目录为 /usr/local/bin/homebrew intel 处理器安装目录为 /opt/homebrew 问题1: 卡住 产生原因&#xff1a; m 系列使用 brew install lrzs…

Vscode——SSH连接不进去服务器的万能解决办法

一、查看当前版本VSCode的commit_id Help -> About -> Commit&#xff08;对应中文版本&#xff1a;帮助 -> 关于 -> 提交&#xff09; 会得到一串数字字母&#xff0c;我们简称 ID。 二、手动下载对应的VSCode包 浏览器输入&#xff1a;https://update.code.v…

手撕红黑树(kv模型模拟)

目录 前言 一、相关概念 二、性质介绍 红黑树平衡说明 三、红黑树模拟&#xff08;kv结构&#xff09; 1、红黑树节点 2、红黑树插入 2、特殊处理情况 声明&#xff1a; 情况一&#xff1a;cur为红&#xff0c;p为红&#xff0c;g为黑&#xff0c;u存在&#xff0c;且…

Spring Cloud学习笔记(Feign):配置类(未完成)

这是本人学习的总结&#xff0c;主要学习资料如下 - 马士兵教育 1、给Feign配置的方式1.1、通过Bean配置1.2、application.yaml配置 2、配置日志2.1、日志级别1.2、指定日志级别1.2.1、通过Bean配置1.2.2、application.yaml配置 3、Inteceptor配置 1、给Feign配置的方式 我们有…

牛客NC99 多叉树的直径【较难 深度优先 Java/Go/PHP】

题目 题目链接&#xff1a; https://www.nowcoder.com/practice/a77b4f3d84bf4a7891519ffee9376df3 思路 核心就是树的最大直径(globalMax)一定是以某一个node为root最长的两个path-to-leaf. 就是普通dfs的同时算路径长度。时间: O(n), DFS一次 空间: O(n)参考答案Java impo…

stm32的GPIO基本结构

1.带FT标号的引脚能容忍5V 2.GPIO系统架构 stm32的所有GPIO都是挂载在APB2总线上的 3.GPIO的基本结构 在上图中&#xff0c;左边就是寄存器&#xff0c;右边就是驱动器了 保护二极管的作用&#xff1a;VDD表示3.3V&#xff0c;如果输入的电压的值大于3.3V&#xff0c;那么这个…