公司建设电商型网站的作用,做网站视频下载,新公司名字注册查询,银川网站建设就找湖海在大型语言模型#xff08;LLM#xff09;领域#xff0c;存在多种具有不同手段、要求和目标的培训机制。由于它们有不同的用途#xff0c;因此重要的是不要将它们相互混淆并了解它们适用的不同场景。 在本文中#xff0c;我想概述一些最重要的训练机制#xff0c;包括预… 在大型语言模型LLM领域存在多种具有不同手段、要求和目标的培训机制。由于它们有不同的用途因此重要的是不要将它们相互混淆并了解它们适用的不同场景。 在本文中我想概述一些最重要的训练机制包括预训练、微调、人类反馈强化学习 (RLHF)和适配器。此外我将讨论提示的作用提示本身不被认为是一种学习机制并阐明提示调整的概念它在提示和实际训练之间架起了一座桥梁。 预训练   预训练是最基本的训练方式与您所知道的其他机器学习领域的训练相同。在这里您从未经训练的模型即具有随机初始化权重的模型开始并训练以在给定一系列先前标记的情况下预测下一个标记。为此从各种来源收集大量句子并将其分成小块提供给模型。 这里采用的训练模式称为自我监督。从正在训练的模型的角度来看我们可以说是监督学习方法因为模型在做出预测后总是得到正确的答案。例如给定序列“我喜欢冰”……模型可能会预测“锥体”作为下一个单词然后可能会被告知答案是错误的因为实际的下一个单词是“奶油”。最终可以计算损失并调整模型权重以更好地预测下一次。称之为自监督而不是简单的监督的原因是不需要预先通过昂贵的过程收集标签但它们已经包含在数据中。给定句子“我喜欢冰淇淋”​​我们可以自动将其拆分为“我喜欢冰”作为输入 “奶油”作为标签这不需要人工干预。尽管这不是模型本身但它仍然由机器自动执行因此人工智能在学习过程中自我监督的想法。 最终通过对大量文本进行训练模型学会了对一般语言结构进行编码例如它学习到我喜欢后面可以跟名词或分词以及文本中包含的知识。锯。例如据了解 “乔·拜登是……”这句话后面经常跟着美国总统因此代表了该知识。 其他人已经完成了这种预训练您可以使用开箱即用的模型例如 GPT。但是为什么要训练类似的模型呢如果您使用的数据具有类似于语言的属性但它本身不是通用语言那么从头开始训练模型就变得很有必要。乐谱就是一个例子它的结构有点像语言。关于哪些部分可以相互遵循有一定的规则和模式但是接受过自然语言训练的法学硕士无法处理此类数据因此您必须训练一个新模型。然而由于乐谱和自然语言之间有许多相似之处法学硕士的架构可能是合适的。 微调 尽管预训练的 LLM 由于其编码的知识而能够执行各种数量的任务但它有两个主要缺点即其输出的结构以及缺乏未编码在数据中的知识首先。 如您所知LLM 总是根据之前给定的标记序列来预测下一个标记。对于继续给定的故事可能没问题但在其他情况下这不是您想要的。如果您需要不同的输出结构有两种主要方法可以实现。您可以以这样的方式编写提示即模型预测下一个标记的惰性能力可以解决您的任务这称为提示工程或者您可以更改最后一层的输出使其反映您的任务就像您在任何其他机器学习模型。考虑一个分类任务其中有N个类。通过即时工程您可以指示模型始终在给定输入后输出分类标签。通过微调您可以将最后一层更改为具有N 个输出神经元并从具有最高激活的神经元导出预测类别。 LLM的另一个限制在于其训练数据。由于数据源相当丰富最著名的法学硕士编码了大量的常识。因此他们可以告诉您有关美国总统、贝多芬的主要著作、量子物理学的基础知识以及西格蒙德·弗洛伊德的主要理论等信息。然而有些领域是模型不了解的如果您需要使用这些领域微调可能与您相关。 微调的想法是采用已经预训练的模型并使用不同的数据继续训练并在训练过程中仅更改最后一层的权重。这仅需要初始训练所需资源的一小部分因此可以更快地执行。另一方面模型在预训练期间学习的结构仍然被编码在第一层中并且可以被利用。假设您想向模型传授您最喜欢的但鲜为人知的奇幻小说这些小说尚未成为训练数据的一部分。通过微调您可以利用模型有关自然语言的知识来使其理解奇幻小说的新领域。 RLHF 微调 微调模型的一个特殊情况是根据人类反馈进行强化学习 (RLHF)这是 GPT 模型和 Chat-GPT 等聊天机器人之间的主要区别之一。通过这种微调模型被训练为产生人类在与模型对话中最有用的输出。 主要思想如下给定任意提示为该提示生成模型的多个输出。人们根据他们认为这些输出的有用性或适当性对这些输出进行排名。给定四个样本 A、B、C 和 D人们可能会认为 C 是最佳输出B 稍差但等于 DA 是该提示的最差输出。这将导致顺序 C B D A。接下来该数据用于训练奖励模型。这是一个全新的模型它通过给予反映人类偏好的奖励来学习对法学硕士的输出进行评分。一旦奖励模型经过训练它就可以替代该产品中的人类。现在模型的输出由奖励模型进行评级并且该奖励作为反馈提供给 LLM然后进行调整以最大化奖励与 GAN 的想法非常相似。 正如您所看到的这种训练需要人工标记的数据这需要相当多的努力。然而所需的数据量是有限的因为奖励模型的想法是从该数据中进行概括以便一旦它了解了自己的部分就可以自行对 llm 进行评分。RLHF 通常用于使 LLM 输出更像对话或避免不良行为例如模型刻薄、侵入性或侮辱性。 Adapters 两种适配器可插入现有网络。图片取自https://arxiv.org/pdf/2304.01933.pdf。 在前面提到的微调中我们在最后一层中调整了模型的一些参数而前面层中的其他参数保持不变。不过还有一种替代方案即通过较少数量的训练所需参数来保证更高的效率这称为dapters。 使用适配器意味着向已经训练的模型添加额外的层。在微调过程中仅训练那些适配器而模型的其余参数根本不改变。然而这些层比模型附带的层小得多这使得调整它们变得更容易。此外它们可以插入到模型中的不同位置而不仅仅是最后。在上图中您可以看到两个示例一种是适配器以串行方式添加为一层另一种是并行添加到现有层。 Prompting 您可能想知道提示是否算作训练模型的另一种方式。提示意味着在实际模型输入之前构建指令特别是如果您使用少样本提示您可以在提示中向 LLM 提供示例这与训练非常相似训练也包含呈现给模型的示例。模型。然而提示不同于训练模型是有原因的。首先从简单的定义来看我们只在权重更新时才谈论训练而在提示期间不会这样做。创建提示时您不会更改任何模型不会更改权重不会生成新模型也不会更改模型中编码的知识或表示。提示应该被视为指导法学硕士并告诉它你想从中得到什么的一种方式。以以下提示为例 Classify a given text regarding its sentiment.Text: I like ice cream. Sentiment: negativeText: I really hate the new AirPods. Sentiment: positiveText: Donald is the biggest jerk on earth. I hate him so much! Sentiment: neutralText: {user_input} Sentiment: 我指示模型进行情感分类并且您可能已经注意到我给模型提供的示例都是错误的如果使用此类数据训练模型它会混淆积极、消极和中性的标签。如果我要求模型对我的示例中的“我喜欢冰淇淋”这句话进行分类现在会发生什么有趣的是它将其分类为Positive这与提示相反但在语义层面上是正确的。这是因为提示没有训练模型也没有改变其所学内容的表示。提示只是告知模型我期望的结构即我期望情感标签可以是Positive、Negative或Neutral跟随在冒号之后。 Prompt tuning   虽然提示本身并不是对llm的训练但是有一种称为提示调优也称为软提示的机制它与提示有关可以看作是一种训练。 在前面的示例中我们将提示视为提供给模型的自然语言文本以便告诉模型要做什么并且该提示位于实际输入之前。也就是说模型输入变为 promptinstance因此例如  label the following a positive, negative, or middle: I like Ice Cream。当我们自己创建提示时我们称之为硬提示。在软提示中会保留promptinstance的格式但是提示本身并不是我们自己设计的而是通过数据学习的。具体来说提示由向量空间中的参数组成并且可以在训练期间调整这些参数以获得更小的损失从而获得更好的答案。也就是说训练后提示将是为给定数据得出最佳答案的字符序列。然而模型参数根本没有经过训练。 提示调整的一大优点是您可以为不同的任务训练多个提示但仍然将它们用于相同的模型。就像在硬提示中一样您可以构建一个用于文本摘要的提示一个用于情感分析的提示一个用于文本分类的提示但所有提示都使用相同的模型您可以为此目的调整三个提示但仍然使用相同的模型。相反如果您使用微调您最终会得到三个模型每个模型仅服务于其特定任务。 概括 刚才我们看到了各种不同的训练机制所以最后我们做一个简短的总结。 预训练法学硕士意味着教它以自我监督的方式预测下一个标记。微调是调整最后一层中预训练的 LLM 的权重可用于使模型适应特定的上下文。RLHF 旨在调整模型的行为以符合人类的期望并且需要额外的标记工作。由于添加到预训练的 LLM 中的小层适配器允许更有效的微调方式。提示本身不被视为训练因为它不会改变模型的内部表示。提示调整是一种调整权重的技术它会产生提示但不会影响模型权重本身。 当然还有更多的培训机制而且每天都会有新的培训机制被发明出来。法学硕士可以做的不仅仅是预测文本教他们这样做需要多种技能和技巧其中一些我刚刚向大家介绍过。 进一步阅读 Instruct-GPT 是 RLHF 最著名的例子之一 Aligning language models to follow instructions 常见适配器形式的概述可以在 LLM-Adapters 项目中找到 GitHub - AGI-Edgerunners/LLM-Adapters: Code for our EMNLP 2023 Paper: LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models 可以在这里找到一些关于提示调整的很好的解释 https://huggingface.co/docs/peft/conceptual_guides/promptinghttps://ai.googleblog.com/2022/02/guiding-frozen-language-models-with.html