LLM学习记录DAY14

📘今日学习总结

一、常见评测指标

1. 分类任务

• 精确率：预测为正例中真正为正的比例
• 召回率：真正为正中被正确预测的比例
• F1分数：精确率与召回率的调和平均数

2. 语言建模任务

• 困惑度：衡量模型对文本的建模能力，越低越好
  • 公式：
    \(PPL(u) = \exp\left(-\frac{1}{T}\sum_{t=1}^{T} \log P(u_t|u_{<t})\right)\)

3. 文本生成任务

• BLEU：机器翻译中衡量与参考译文的词汇重叠
• ROUGE：文本摘要中衡量信息覆盖度（侧重召回率）

4. 问答任务

• 准确率：预测正确的比例
• EM（精确匹配）：答案与标准答案完全一致

5. 执行类任务

• 成功率：成功完成任务的比例
• Pass@k：k个输出中至少有一个通过测试的概率

6. 偏好排序任务

• Elo评分：通过成对比较动态更新模型评分

二、评测范式与方法

1. 基于评测基准

• 典型工作：MMLU、BIG-Bench、HELM、C-Eval、Open LLM Leaderboard
• 优点：标准化、可对比、自动化
• 缺点：对提示敏感、存在数据污染

2. 基于人类评估

• 典型工作：Chatbot Arena
• 优点：真实交互、适用于复杂任务
• 缺点：成本高、可复现性差

3. 基于模型评估

• 典型工作：AlpacaEval、MT-Bench
• 优点：自动化、成本低、灵活
• 缺点：存在位置/长度偏置、可靠性依赖模型能力

三、语言生成

1. 语言建模

• 任务：预测下一个词元
• 数据集：LAMBADA（预测段落最后一个词）

2. 条件文本生成

• 机器翻译：BLEU、COMET，数据集如WMT
• 文本摘要：ROUGE，数据集如XSum

3. 代码合成

• 评测指标：Pass@k
• 数据集：HumanEval
• 现象：模型性能随参数规模提升（扩展定律）

4. 主要问题

• 不可靠的文本评估：自动指标不能反映真实质量
• 专业化生成弱：特定领域生成困难，易灾难性遗忘

四、知识利用

1. 闭卷/开卷问答

• 闭卷：检测模型内部知识编码
• 开卷：结合外部知识库（如检索增强生成RAG）

2. 知识补全

• 任务：如“Dante was born in [MASK]”
• 难点：特定关系补全困难（如出生地 vs 货币）

3. 主要问题

• 幻象：
  • 内在幻象：生成的内容和输入内容存在冲突
  • 外在幻象：生成的内容不能通过输入内容来判断对错
• 知识时效性：难以注入新知识，需借助外部工具

五、复杂推理

1. 知识推理

• 数据集：CSQA、PIQA、SIQA
• 评测指标：准确率

2. 符号推理

• 任务：伪字母拼接、尾字母拼接、多位数加法
• 方法：思维链（Chain-of-Thought, CoT）

3. 数学推理

• 数据集：GSM8K、MATH
• 方法：CoT显著提升性能

4. 主要问题

• 推理不一致：答案与推理过程不符
• 数值计算弱：需借助外部工具（如计算器）
• 解决方案：过程反馈、多路径推理、自我反思

六、人类对齐

1. 三个维度

• 有用性：完成任务的能力
• 诚实性：避免幻象，数据集如TruthfulQA
• 无害性：避免偏见/歧视，数据集如CrowS-Pairs、Winogender

2. 评测方法

• Chatbot Arena：人类偏好标注 + Elo排名
• TruthfulQA：测试模型是否重复人类误解
• CrowS-Pairs：评估社会偏见
• Winogender：评估性别偏见在共指消解中的表现

七、环境交互

1. 任务类型

• 自然语言指令 → 动作规划
• 模拟环境交互：如ALFWorld、WebShop

2. 评测指标

• 行动计划可行性
• 任务完成率

3. 典型工作

• PaLM-SayCan：结合语言模型与价值函数
• ALFWorld：文本模拟家庭环境
• WebShop：模拟在线购物流程

八、工具使用

1. 使用方式

• 上下文学习：从工具描述/样例中学习
• 微调：在工具调用数据上微调

2. 评测数据集

• HotpotQA：多跳推理问答
• APIBench：API调用能力
• ToolBench：跨类别多工具调用

3. 典型系统

• HuggingGPT：调用HuggingFace模型完成任务
• Gorilla：连接大量API
• Toolformer：模型自学使用工具

九、高级能力与评测基准

1. MMLU

• 多任务知识理解，涵盖人文/社科/STEM
• GPT-4在5-shot下达到86.4%准确率

2. BIG-Bench

• 204项挑战性任务
• PaLM 540B在65%任务上超越人类

3. BIG-Bench Hard

• 23项LLM表现不如人类的任务
• CoT提示技术显著提升性能

4. HELM

• 全面评测，7类指标，16类场景

5. C-Eval

• 中文综合评测体系，涵盖多学科
• 中文模型在人文科目上表现更优