机器学习与模式识别 第十八章 LLM的训练与应用 考点压缩
第十八章：LLM Training and Applications — 知识点笔记
综合来源：Lecture 18 PDF（44页）、课堂笔记（CSDN）
占位图
18.1 LLM完整推理流程
输入文本 → Tokenization → Embedding查表 → +PE → Decoder Transformer (L层) → 最后token输出 → Linear(Vocab) → Softmax → 下一token概率各步骤详解
| 步骤 | 操作 |
|---|---|
| Tokenization | BPE分词→Token ID序列 |
| Embedding查表 | 学习的嵌入表→V×DV\times DV×D→查ID得向量 |
| 位置编码 | +PE（可选，有些模型用RoPE融入Attention） |
| Transformer | L层Decoder Block（Masked Attn+MLP+残差+LN） |
| 输出层 | 最后token→Linear投影→VVV维logits→Softmax→概率分布 |
18.2 GPT = 生成式预训练Transformer ⭐
| 字母 | 含义 |
|---|---|
| G(Generative) | 生成式—建模文本的创建 |
| P(Pretrained) | 预训练—在海量自然数据上训练 |
| T(Transformer) | 神经网络架构 |
预训练（Pre-training）
- 单段文本→每个token都是训练样本
- 最大化下一token的似然（MLE）→交叉熵损失
- 每个位置的输出预测下一个token
预训练规模
- Llama-3 405B：15.6T tokens训练数据，16K H100 GPU，39.3M GPU小时
- 数据混合（Data Mix）：多源数据→学习通用模式
18.3 后训练（Post-training）⭐
GPT alone can’t chat!— 预训练只能补全文本，不会对话
三种后训练方法
| 方法 | 核心 | 数据 |
|---|---|---|
| SFT（监督微调） | 标注的指令-回答对→微调 | 高质量对话数据 |
| RLHF（人类反馈强化学习） | 人类偏好→训练奖励模型→PPO强化学习 | 人类偏好对比 |
| DPO（直接偏好优化） | 直接用偏好数据→MLE训练→更简单稳定 | 人类偏好对比 |
18.4 LoRA（低秩适应）⭐
核心思想
W′=W+AB\mathbf{W}' = \mathbf{W} + \mathbf{A}\mathbf{B}W′=W+AB
- W∈Rm×n\mathbf{W}\in\mathbb{R}^{m\times n}W∈Rm×n：预训练权重（冻结）
- A∈Rm×r,B∈Rr×n\mathbf{A}\in\mathbb{R}^{m\times r}, \mathbf{B}\in\mathbb{R}^{r\times n}A∈Rm×r,B∈Rr×n：低秩（r≪m,nr\ll m,nr≪m,n）可学习
- B\mathbf{B}B初始化为0→训练前等价于原模型
优势
- 极少可训练参数→降低微调成本
- 缓解灾难性遗忘
- 可应用于模型所有权重
18.5 关键应用技术 ⭐
RAG（检索增强生成）
用户问题 → Retriever检索相关文档 → 增强Prompt → LLM生成答案- 为LLM注入外部专业知识→无需重新训练
Chain-of-Thought（思维链）
- 提示模型"一步步思考"→生成长推理链
- DeepSeek-R1/ChatGPT-O1的核心能力
- 行为：规划+反思+自我修正+回溯
Agentic Systems（智能体系统）
用户目标 → LLM(推理+工具调用) → 工具执行 → 观察结果 → LLM再次推理 → ...- ReAct Agent：Reasoning + Acting循环
- 工具：搜索、计算器、邮件等→LLM主动调用
In-Context Learning
- Zero-shot：直接提问（依赖已有知识）
- Few-shot：给几个例子→模型模仿
视觉语言模型（VLM）
- 视觉编码器→图像patch→token embeddings
- Learned Adapter→将图像embedding映射到LLM token空间
- 统一表示→多模态推理
笔记中的图片索引
| 序号 | 图片内容描述 | 来源位置 |
|---|---|---|
| 图1 | LLM推理完整流程 | Lecture 18 第3-10页 |
| 图2 | 预训练Masked LM vs Causal LM | Lecture 18 第14-17页 |
| 图3 | VLM架构（Vision Encoder+Adapter→LLM） | Lecture 18 第19-22页 |
| 图4 | RLHF流程图 | Lecture 18 第31页 |
| 图5 | RAG架构 | Lecture 18 第35页 |
| 图6 | CoT推理示例(450行) | Lecture 18 第38页 |
| 图7 | Agentic System循环 | Lecture 18 第39-43页 |
笔记整理时间：2026年6月30日