大模型基础

foundational Models，基础模型或称基座模型，即大模型

大模型的使用

prompt engineering（提示词工程）

大模型训练的阶段

1. 预训练
2. SFT（监督微调）
3. RLHF(基于人类反馈的强化学习)

大模型的特点及分类

• 适应性灵活性强

• 广泛数据集的预训练

• 计算资源需求大

• 参数规模大

• 大语言模型

• 多模态模型(计算机视觉\语音)

大模型的工作流程

分词化(tokenization)与词表映射

• 词粒度,适用英文
• 字符粒度,中文分词
• 子词粒度,将单词分解为更小的单位
• 每一个token通过预先设置好的词表,映射为一个tokenid,这是token的身份证

大模型的应用

理解人类或自己本身,就能很好的学会大模型应用及开发

进阶

agent的组成和概念

memory + tools + Planning + Action <-----agent

agent的决策流程

planning规划

子任务分解

思维链(chain of thoughs,CoT)
思维树(Tree of thoughs,ToT),使用深度优先或广度优先搜索

ReAct框架

搜索高端手机,最好用的手机
组合推理和行动.首先通过推理确定搜索"苹果手机",并从外部环境中观察结果.随着推理的深入,识别出需要搜索…几轮交互后,得出标准答案

memory记忆

智能体中的记忆机制

• 形成记忆,大模型训练参数得到的记忆
• 短期记忆,当前任务的暂存记忆
• 长期记忆,长期保留的信息,通常用向量数据库来存储和检索

Tools工具\工具集的使用

使用工具突破大模型本身的限制

langchain

agent只是实现智能体的框架,真正的大脑还是LLM

认知框架

ReAct框架

plan-and-Execute计划与执行

self-ask(自问自答)

thinking and self-refection思考并自我反思

ReAct框架实例

我的理解是langchain已经在这些认知框架中把提示词封装好了,不用我们去手写了

通过llamindex实现ReAct RAG Agent

agent数字人项目实战

技术栈:agent + RAG + webRPC + docker
一些技术是要收费的

提示词\提示词工程

以上我的理解是对的,不同适用场景的AI工具,就是将提示词工程提前封装了,不用再让用户\使用者麻烦地定义\构建提示词

1. 精确性
2. 灵活性多样性
3. 风格

prompt提示词是什么?

适用大模型时,向其输入的指令
prompt构建的原则?

• 清晰明确,提供充足的上下文
• 使用标点符号更清晰
• 用样例数据指引模型输出
• 分步骤引导
• 一般用json格式,效果最好

prompt结构

1. context上下文(上下文),角色\任务\知识
2. instruction命令,步骤\思维链\示例
3. input data输入数据,句子\文章\问题
4. output indicator,输出格式