📋 摘要

1. 大模型预训练的目标是什么？自回归和 MLM 有什么区别？

📋 回答重点
  • 预训练 = 海量无标注文本上自监督学习，获得通用能力
  • 自回归：预测下一个 token，单向、能生成（GPT 系主流）
  • MLM：预测被 mask 的 token，双向、擅理解（BERT 系）
  • 大模型统一走向自回归「预测下一个词」

扩展知识

2. 什么是 Scaling Laws？它说明了什么？

📋 回答重点
  • 性能（Loss）与参数量 N、数据量 D、算力 C 呈幂律关系，可预测
  • 结论：规模是王道；三者需匹配（Chinchilla：1 token ≈ 20 参数配比）
  • 可小模型外推大模型性能，指导资源分配

扩展知识

3. 预训练数据需要做哪些处理？为什么重要？

📋 回答重点
  • 四件套：清洗（去噪声/低质/有害）· 去重（防过拟合）· 配比（代码/数学/多语言比例）· 去污染（剔除与评测重叠）
  • GIGO：数据质量是除算力外最影响效果的因素
  • 高质量小数据常胜过低质量大数据

扩展知识

4. 什么是 SFT？它解决什么问题？

📋 回答重点
  • SFT = 用「指令-回答」对微调，教模型遵循指令
  • 预训练只会「续写」不会「回答」，SFT 教会行为模式
  • 数据量小（千~万级高质量）即可见效，是 RLHF/DPO 前置步骤

扩展知识

5. RLHF 的完整流程是什么？PPO 有哪些挑战？

📋 回答重点
  • 三步：SFT → 训练奖励模型（RM）→ PPO 强化学习
  • RM 对偏好排序打分，PPO 用 RM 奖励优化策略
  • PPO 痛点：训练不稳定、奖励 hacking、成本高（需额外 RM 与价值网络）

扩展知识

6. DPO 的原理是什么？相比 RLHF 有什么优势？

📋 回答重点
  • DPO 把「RM + RL」压缩成单阶段监督损失，直接优化「好回答 vs 坏回答」概率差
  • 免 RM、免强化学习
  • 优势：更稳定、更省、多数场景效果与 RLHF 相当

扩展知识

7. LoRA 的原理是什么？rank 怎么选？

📋 回答重点
  • 冻结原权重 W，只学低秩增量 ΔW = B·A（r 小），前向 h=Wx+BAx
  • 参数量从 d×d 降到 2·d·r，显存省、可多任务插拔
  • 推理可合并回 W，不增延迟；QLoRA 再对基座 4-bit 量化压显存
  • rank 常见 8~64，简单任务小、复杂任务大

扩展知识

8. 除了 LoRA，还有哪些参数高效微调（PEFT）方法？

📋 回答重点
  • 两大类：加模块（Adapter、LoRA）vs 加提示（Prefix Tuning、Prompt Tuning）
  • Prompt Tuning 只训一组软 prompt，参数极少
  • P-Tuning v2 深层加 prompt 提升小模型效果；IA3 极省参数

扩展知识

9. 全量微调和高效微调分别适合什么场景？

📋 回答重点
  • 全量：数据量大、领域差异大、追上限、算力足；但贵、易遗忘
  • 高效（LoRA）：数据少、算力有限、多任务并存、快速迭代；可插拔
  • 决策维度：数据量 + 算力 + 是否多任务

扩展知识

10. 什么是灾难性遗忘？如何缓解？

📋 回答重点
  • 微调新任务后忘记旧能力（全量微调尤甚）
  • 缓解：LoRA（只改少量参数）· 混入旧数据 replay · 多任务联合训练 · 权重正则

扩展知识

11. 什么是大模型的涌现能力？它真的存在吗？

📋 回答重点
  • 规模跨过阈值后突然出现小模型没有的能力（多步推理、CoT）
  • 争议：可能部分是评测指标非线性造成的表象，换连续指标则平滑增长
  • 共识：规模扩大确实解锁更复杂能力

扩展知识

12. 如何缓解大模型的幻觉问题？

📋 回答重点
  • RAG 检索锚定（最直接）· 约束解码 · 降低温度 · 自一致性多次采样投票
  • 对齐训练「不确定说不知道」· 工具调用代替脑补
  • 幻觉无法根除，重在控制 + 关键场景兜底

扩展知识

13. 大模型有哪些评估方法？常用 benchmark 有哪些？

📋 回答重点
  • 四类：PPL（语言质量）· benchmark（固定任务打分）· LLM-as-judge（强模型打分）· 人工评估（金标准）
  • 代表：MMLU（知识）、GSM8K/MATH（数学）、HumanEval（代码）、MT-Bench（对话）、C-Eval（中文）、LongBench（长上下文）

扩展知识

14. 训练数据是「质量」重要还是「数量」重要？

📋 回答重点
  • 质量决定上限，数量决定逼近上限的程度
  • 低质海量数据引入噪声反而有害（GIGO）
  • 高质量精选数据可超越更大更脏数据（Phi 系列）；质量达标后扩大数量仍按 Scaling Laws 获益

扩展知识

15. causal language model 的 loss 是怎么计算的？

📋 回答重点
  • CLM 自回归：给定前文预测下一个 token，最小化交叉熵 loss = -1/T Σ log P(x_t|x_<t)
  • causal mask 上三角遮挡，防「偷看未来」
  • teacher forcing：每步用真实前文预测下一步
  • 困惑度 PPL = exp(loss)，越低语言建模越好

扩展知识

16. 什么是混合精度训练？bf16 和 fp16 有什么区别？

📋 回答重点
  • 混合精度 = 前向/反向低精度 + 主权重 fp32
  • fp16 指数位 5、范围小易下溢，需 loss scaling
  • bf16 指数位 8 与 fp32 一致，免 loss scaling，大模型首选
  • 优点：省显存、提吞吐

扩展知识

17. 梯度累积的原理和作用是什么？

📋 回答重点
  • 大 batch 拆成多个 micro-batch，累加梯度、K 步后统一更新
  • 有效 batch = micro_batch × K，用时间换显存
  • 获得大 batch 训练效果（梯度更稳、收敛更好）

扩展知识

18. 学习率 warmup 和余弦退火是什么？

📋 回答重点
  • warmup：初期小 lr 线性涨到目标值，防把参数「炸飞」
  • 余弦退火：峰值后按余弦曲线平滑衰减到近 0
  • 常组合 warmup + cosine，是 LLM 预训练标配

扩展知识

19. AdamW 和 Adam 有什么区别？

📋 回答重点
  • AdamW 把 weight decay 从梯度里拆出来直接减参数（解耦）
  • Adam 的 L2 正则会被自适应缩放抵消
  • 解耦后泛化更好、收敛更稳，是大模型标准优化器

扩展知识

20. 大模型训练的硬件和通信瓶颈有哪些？（NVLink/IB）

📋 回答重点
  • 机内 NVLink 高带宽低延迟，跨机 InfiniBand/RoCE
  • DP 梯度 all-reduce 走节点间，TP 走机内 NVLink
  • 主要瓶颈：显存 HBM + 通信带宽

扩展知识

21. 训练中如何做 checkpoint 和断点续训？

📋 回答重点
  • checkpoint 存权重 + 优化器状态 + lr scheduler + step + RNG
  • 优化器状态（Adam m/v）必须存，否则恢复后轨迹会变
  • 断点续训 = 从最近 checkpoint 完整恢复继续跑

扩展知识

22. 如何估算训练 FLOPs？Chinchilla 定律说明了什么？

📋 回答重点
  • FLOPs ≈ 6ND（N 参数、D token；2 前向 + 4 反向）
  • Chinchilla：算力给定时参数与数据同比例缩放，D ≈ 20N
  • GPT-3 过参数化，Chinchilla 70B+1.4T 更好

扩展知识

23. 什么是 curriculum learning？

📋 回答重点
  • 按从易到难有序喂数据，模仿人类学习
  • 难度可用长度/困惑度/模型 loss 度量
  • 前期更稳、收敛更快；LLM 预训练收益不稳定

扩展知识

24. 「预测下一个 token」作为训练目标有哪些局限？

📋 回答重点
  • 只学分布不保证事实正确（幻觉根源）
  • 缺乏长期规划/多步推理
  • 误差累积（exposure bias）
  • 对齐缺失，需 RLHF/DPO 补

扩展知识

25. 梯度裁剪是什么？为什么要用？

📋 回答重点
  • 限制梯度范数防爆炸，常用 clip-by-norm
  • g ← g·min(1, max_norm/‖g‖)，max_norm 常 1.0
  • 保方向只压大小，是防崩溃的兜底

扩展知识

26. 训练中 loss 爆炸或 NaN 如何排查？

📋 回答重点
  • 顺序：lr/warmup → 混合精度溢出 → 数据异常 → 梯度裁剪
  • fp16 易溢出查 loss scaling；bf16 基本无此问题
  • 二分定位首次 NaN 位置 + detect_anomaly

扩展知识

27. 奖励模型（RM）是怎么训练的？偏好标注怎么做？

📋 回答重点
  • 采样多个回答 → 标注偏好排序 → Bradley-Terry 训练
  • Loss = -log σ(r(good) - r(bad))
  • 排序比绝对打分更稳定

扩展知识

28. 什么是 reward hacking？如何缓解？

📋 回答重点
  • 模型钻 RM 空子拿高分而非真变好
  • 表现：冗长、堆砌废话讨好 RM
  • 缓解：KL 约束 + RM 迭代 + DPO 从根上规避

扩展知识

29. 什么是 RLAIF 和 Constitutional AI？

📋 回答重点
  • RLAIF 用 AI 反馈替代人工标注
  • Constitutional AI：模型按「宪法」自我批评修订
  • 低成本、可审计、可扩展

扩展知识

30. KTO 和 ORPO 是什么？和 DPO 有什么区别？

📋 回答重点
  • DPO 需成对偏好数据 + 参考模型
  • KTO 只需单样本 + 好坏标签（前景理论）
  • ORPO 合并 SFT+偏好、免参考模型

扩展知识

31. PPO 的 clip 机制是什么？为什么需要 clip？

📋 回答重点
  • ratio r = π_θ/π_old，clip 到 [1-ε,1+ε]，ε≈0.2
  • L = min(r·A, clip(r)·A)，防单步更新过大
  • 无 clip 的 PG 方差大易崩

扩展知识

32. SFT 数据如何构建？数据质量如何保证？

📋 回答重点
  • 采集 prompt → 生成回答 → 清洗 → 格式化
  • 质量靠强模型生成 + 人工审核 + 打分筛选
  • 训练模板必须与推理模板一致

扩展知识

33. instruction tuning 和 SFT 是什么关系？

📋 回答重点
  • instruction tuning 是 SFT 的子集，用指令-回答格式
  • SFT 泛指任意监督微调，instruction tuning 追求指令泛化
  • 大模型语境下两者常混用

扩展知识

34. 什么是 self-instruct？什么是 backtranslation？

📋 回答重点
  • self-instruct 模型自己造指令数据
  • backtranslation 从无标注文本反推指令
  • 低成本扩数据，但需过滤防自我放大

扩展知识

35. LoRA 一般加在哪些层？为什么？

📋 回答重点
  • 加注意力 Q/K/V/O 投影（可只 Q/V）
  • 这些是线性投影、注意力层对任务最敏感
  • 只改注意力即可接近全量微调

扩展知识

36. LoRA 的 alpha 和 dropout 参数是什么作用？

📋 回答重点
  • alpha 缩放：ΔW=(α/r)·BA，α/r 才是有效缩放
  • α 等价调学习率量级，常用 α=2r
  • dropout 是低秩路径正则，防过拟合

扩展知识

37. 什么是 DoRA？相比 LoRA 有什么改进？

📋 回答重点
  • 把权重拆成幅度 m × 方向 V
  • 只对方向做低秩，幅度单独学
  • 解耦后比 LoRA 更接近全量微调，低秩下差距明显

扩展知识

38. rsLoRA 和 LoRA+ 是什么？解决了什么问题？

📋 回答重点
  • rsLoRA 改缩放为 α/√r，高 rank 训练稳
  • LoRA+ 给 A、B 不同学习率（B 更大，λ 常 4~16）
  • 都是 LoRA 训练细节优化

扩展知识

39. 全量微调和 LoRA 的学习率设置有什么区别？

📋 回答重点
  • 全量微调 lr 小（1e-5~5e-5），保护预训练知识
  • LoRA lr 大（1e-4~3e-4），新参数需大步
  • 预训练 1e-4 量级

扩展知识

40. 微调数据量多少合适？如何防止过拟合？

📋 回答重点
  • SFT 几千几万、LoRA 几百几千
  • 早停、少 epoch（LoRA 1~3）、降 rank、正则
  • 看 train/val loss 开叉判断过拟合

扩展知识

41. 继续预训练（CPT）和微调（SFT）有什么区别？

📋 回答重点
  • CPT 用海量无标注文本继续预训练，学知识
  • SFT 用少量指令-回答对，学行为
  • 先 CPT 后 SFT 是领域模型标准流程

扩展知识

42. soft prompt 和 hard prompt 有什么区别？

📋 回答重点
  • hard prompt 离散文本、可读可解释
  • soft prompt 连续向量、可梯度优化、参数极少
  • Prompt Tuning 就是训 soft prompt

扩展知识

43. 什么是 benchmark 污染？如何防止？

📋 回答重点
  • 评测集泄露进训练数据 → 背答案、分数虚高
  • 防：N-gram 去污染 + 私有/动态评测集
  • 改写/翻译变体也需检测

扩展知识

44. LLM-as-judge 有哪些偏置？如何缓解？

📋 回答重点
  • 位置偏置（偏好第一/第二）→ swap 对调取平均
  • 长度偏置（偏好长回答）→ 控长/忽略长度
  • 自我偏好、格式偏置

扩展知识

45. 什么是模型合并？SLERP 和 DARE 是什么？

📋 回答重点
  • 免训练把多个模型权重合并
  • SLERP 球面线性插值保范数
  • DARE 随机丢 delta 再缩放、去冗余

扩展知识

46. 什么是合成数据？如何用于训练？

📋 回答重点
  • 由模型/程序生成，非真实采集
  • 用于补稀缺领域、增强、蒸馏、生成 CoT
  • 风险：模型塌缩，需过滤 + 混真实数据

扩展知识

47. 如何建模人类偏好？有哪些方法？

📋 回答重点
  • Bradley-Terry：p(A>B)=σ(rA-rB)
  • RLHF 用 RM+RL，DPO 用隐式奖励直接优化
  • KTO 单样本、ORPO 合并阶段

扩展知识

48. 少样本评估和零样本评估有什么区别？

📋 回答重点
  • zero-shot 不给示例，测真实泛化
  • few-shot 给 k 个示例（ICL），通常更强
  • 涌现的重要现象：few-shot 大幅超越 zero-shot

扩展知识

49. 什么是 RLVR？为什么推理模型训练用它？

📋 回答重点
  • 用可验证奖励（代码执行/答案对错）替代 RM
  • 奖励客观无噪声，防 reward hacking
  • 适合推理长轨迹，DeepSeek-R1/o 系列用它

扩展知识

50. 如何评估模型训练是否收敛？有哪些监控指标？

📋 回答重点
  • 看 train/val loss、梯度范数、下游 benchmark 分数
  • 收敛 = loss 平稳且验证/下游不再提升
  • train 降 val 升 = 过拟合，该早停

扩展知识