📋 摘要
- 大模型基础面试高频问答，每题只保留回答重点与扩展知识
- 详细原理解析见 大模型基础
- 相关主题：大模型训练与微调（面试版）、大模型推理与部署（面试版）、RAG（面试版）、AI Agent（面试版）、LangChain 与 LangGraph（面试版）
1. Transformer 的整体结构是什么？为什么它能取代 RNN/LSTM？
📋 回答重点
- Transformer 是纯注意力架构，由 Encoder/Decoder 堆叠，每层 = 多头自注意力 + FFN + 残差 + LayerNorm
- 现代 GPT 是 Decoder-only（自回归预测下一个词）
- 取代 RNN 的关键：注意力全并行、任意两 token 直接交互（路径 O(1)），解决长程依赖；RNN 顺序计算无法并行
扩展知识
- 出处《Attention Is All You Need》（2017）
- 详细讲解：大模型基础
2. self-attention（自注意力）的原理是什么？Q/K/V 分别是什么？
📋 回答重点
- 本质：每个 token 根据与其它 token 的相关性加权聚合信息
- 公式
Attention(Q,K,V) = softmax(QK^T/√d_k)V，√d_k缩放防止梯度消失 - Q=「我想关注什么」、K=「我是什么」、V=「我携带的信息」
- 复杂度 O(n²·d)，长序列是瓶颈
扩展知识
- Q/K/V 由输入做三个线性变换得到
- 详细讲解：大模型基础
3. 为什么用多头注意力？单头和多头有什么区别？
📋 回答重点
- 多头把 Q/K/V 切分成 h 个子空间并行做注意力再拼接，捕捉多种关系
- 单头只有一种平均注意力；多头从语法/指代/语义等不同子空间建模
- 维度均分（d_k = d_model/h），总计算量同量级，不是单纯堆参数
扩展知识
- 典型头数 h=32/64
- 详细讲解：大模型基础
4. 位置编码的作用是什么？绝对、相对和 RoPE 有什么区别？
📋 回答重点
- 注意力无序，位置编码补「顺序」信息
- 绝对位置：固定/可学习向量，外推弱
- 相对位置：建模相对距离（ALiBi 线性衰减）
- RoPE：对 Q/K 做旋转，点积只依赖相对位置，主流（LLaMA/Qwen），外推好
扩展知识
- RoPE 可配合 NTK/YaRN 做长上下文外推
- 详细讲解：大模型基础
5. Transformer 中 FFN 的作用是什么？常用激活函数有哪些？
📋 回答重点
- 分工：注意力做通信（token 交互）、FFN 做计算（逐 token 非线性变换）
- 结构
FFN(x)=W2·σ(W1·x)，中间维度 4×d_model - 现代模型用 SwiGLU 替代 ReLU 提升效果；激活还有 GELU、SiLU
扩展知识
SwiGLU(x)=Swish(x)⊙(x·V)门控变体- 详细讲解：大模型基础
6. LayerNorm 和 BatchNorm 有什么区别？为什么 Transformer 用 LayerNorm？
📋 回答重点
- BatchNorm：对特征跨 batch 归一化，依赖 batch，适合 CNN
- LayerNorm：对每个样本跨特征归一化，不依赖 batch，适合变长序列/Transformer
- 现代改进：Pre-Norm（先残差再归一）训练更稳、RMSNorm 省算力
扩展知识
- 变长序列 batch 内 token 数不定，BatchNorm 难稳定统计
- 详细讲解：大模型基础
7. 残差连接在 Transformer 中的作用是什么？
📋 回答重点
- 残差
x + Sublayer(x)解决深网络梯度消失/退化 - 恒等映射让梯度直通、保留底层信息
- 是 Transformer 能堆到几百层的基石
扩展知识
- 源自 ResNet（He 等），配合 Pre-Norm 更稳定
- 详细讲解：大模型基础
8. 分词器的原理是什么？BPE、WordPiece、SentencePiece 有什么区别？
📋 回答重点
- 分词器把文本切成 token 序列，平衡词表大小与 OOV 覆盖
- BPE：按最高频相邻对迭代合并（GPT 系，Byte-level）
- WordPiece：按似然增益合并（BERT 系，
##标记） - SentencePiece：原始字节上做 BPE/unigram，语言无关（T5/LLaMA 系）
扩展知识
- 子词级：罕见词拆多 token（
unbelievable→un+believ+able） - 详细讲解：大模型基础
9. 什么是 token？中英文 token 有什么差异？
📋 回答重点
- token 是模型处理文本的最小单位，按 token 计费、计量上下文
- 高频词独立成 token，罕见词拆多个子词
- 中文无空格、多字节，同样语义比英文更费 token（1 汉字≈1 token，1 英文词≈1.3 token）
扩展知识
- 中文场景 token 更多 → 成本更高、上下文占更快
- 详细讲解：大模型基础
10. 什么是上下文窗口？如何扩展长上下文？
📋 回答重点
- 上下文窗口 = 单次能处理的 token 上限，受 O(n²) 注意力与 KV cache 限制
- 扩展：位置插值（PI / NTK / YaRN）、滑动窗口/稀疏注意力、FlashAttention
- 工程侧：GQA/MLA 压缩 KV、ring attention 序列并行
扩展知识
- NTK 对 RoPE 旋转基非线性缩放，外推更平滑
- 详细讲解：大模型基础
11. 生成策略有哪些？greedy、beam、sampling、top-k、top-p 有什么区别？
📋 回答重点
- greedy 每步取最大概率，确定但易重复；beam 维护 k 条候选，适合翻译
- sampling 按分布随机采样，多样性好
- temperature 缩放分布（越大越随机）；top-k 固定截前 k；top-p 按累计概率动态截断
- 实践：对话/创作高温度+top-p，代码/数学低温度/greedy
扩展知识
softmax(logits/T)控制随机性- 详细讲解：大模型基础
12. 主流开源大模型有哪些？MoE 和 Dense 有什么区别？
📋 回答重点
- 开源：LLaMA、Qwen、DeepSeek、GLM、Mistral
- Dense：每层一个 FFN，全参数参与，简单
- MoE：每层多专家，路由只激活 top-k，大总参、小激活，省算力（DeepSeek/Mixtral）
- MoE 需 aux loss 做负载均衡防专家塌缩
扩展知识
- MoE 是「千亿参数、百亿激活」低成本的关键
- 详细讲解：大模型基础
13. MHA、MQA、GQA 有什么区别？FlashAttention 解决什么问题？
📋 回答重点
- 三种变体核心是压缩 KV 头数省显存：MHA（KV 头=h）、MQA（=1，最省）、GQA（分组共享，折中主流）
- FlashAttention：tiling + 在线 softmax，中间矩阵留 SRAM，减少 HBM 读写，显存 O(n²)→O(n)，数学等价
扩展知识
- FlashDecoding 是长序列解码（小 batch）的扩展
- 详细讲解：大模型基础
14. 大模型为什么会出现幻觉？有哪些成因？
📋 回答重点
- 幻觉 = 生成流畅但与事实不符的内容
- 成因：训练目标只优化流畅性不保证事实 · 知识时效/覆盖缺口 · 概率采样随机性 · 无外部知识锚点 · 对齐偏向「讨好用户」
- 缓解：RAG 外接知识、约束解码、自一致性、降低温度、让模型「说不知道」
扩展知识
15. Encoder-only、Decoder-only、Encoder-Decoder 三种架构有什么区别？各适合什么任务？
📋 回答重点
- 按「注意力方向」区分：Encoder-only 双向（BERT，理解型）；Decoder-only 单向因果（GPT/LLaMA，生成型）；Encoder-Decoder 双向 + 因果（T5/BART，序列到序列）
- Encoder-only 适合分类/NER/检索，Decoder-only 适合对话/生成，Encoder-Decoder 适合翻译/摘要
- 当前通用大模型全是 Decoder-only
扩展知识
- Decoder-only 用 causal mask 屏蔽未来、统一「预测下一个词」目标
- 详细讲解：大模型基础
16. GPT 系列（GPT-1 到 GPT-4）的架构是如何演变的？
📋 回答重点
- GPT-1→3 架构基本不变（Decoder-only），靠堆参数/数据实现 scaling
- 范式演进：预训练+微调（GPT-1）→ zero-shot（GPT-2）→ in-context learning（GPT-3）→ 多模态 + 对齐（GPT-4）
- GPT-4 传闻采用 MoE，以更小推理算力撑起更大总参数
扩展知识
- GPT-3 参数量 1750 亿，是上下文学习能力涌现的节点
- 详细讲解：大模型基础
17. LLaMA 相对原始 Transformer 做了哪些改进？
📋 回答重点
- 四件套：Pre-Norm + RMSNorm、SwiGLU、RoPE（原始为 Post-Norm + LayerNorm、ReLU、正弦位置）
- 分别解决：训练稳定性、表达力、长上下文、算力
- 训练理念：小模型 + 大算力 + 大量数据，推理更强
扩展知识
- LLaMA 是 Qwen/Mistral 等开源模型的模板
- 详细讲解：大模型基础
18. 什么是 causal mask（因果掩码）？为什么 Decoder 需要它？
📋 回答重点
- causal mask = 注意力矩阵的上三角掩码，未来位置分数置
-inf，softmax 后为 0 - 自回归生成只能看左侧，否则「看到答案」是信息泄露
- 关键：训练用 teacher forcing + causal mask 可一次性并行算出所有位置的预测
扩展知识
- 推理时逐 token 生成，与训练「只看左侧」保持一致
- 详细讲解：大模型基础
19. self-attention 和 cross-attention 有什么区别？分别用在哪里？
📋 回答重点
- 一句话：Q/K/V 同源是 self、异源是 cross
- self-attention 建模序列内部关系（Encoder/Decoder 各层）
- cross-attention：Q 来自 Decoder、K/V 来自 Encoder 输出，做「生成关注输入」（翻译/摘要核心）
- GPT 这类 Decoder-only 只有 masked self-attention，没有 cross-attention
扩展知识
- 交叉注意力的典型场景：解码器 query 去查编码器 key/value
- 详细讲解：大模型基础
20. 为什么主流大模型都选择 Decoder-only 架构？
📋 回答重点
- 统一自回归目标：所有任务都化为「预测下一个词」
- 涌现上下文学习：next-token 目标让 in-context learning 涌现得最好
- scaling 友好：结构简单，易于堆叠到千亿参数
- 代价：单向注意力对理解型任务偏弱，但可用数据/参数弥补
扩展知识
- 双向注意力长序列显存/算力更大，自回归 + KV cache 更高效
- 详细讲解：大模型基础
21. 缩放点积注意力为什么要除以 √d_k？
📋 回答重点
- 点积
Q·K^T方差随 d_k 线性增大，d_k 大时落入 softmax 饱和区、梯度消失 - 假设各分量独立（均值 0 方差 1），点积方差 = d_k，除以
√d_k拉回单位方差 - 让 softmax 输入落在非饱和区间，梯度稳定
扩展知识
- 公式
Attention = softmax(QK^T/√d_k)V - 详细讲解：大模型基础
22. 稀疏注意力有哪些做法？滑动窗口、全局+局部、Longformer 分别是什么？
📋 回答重点
- 动机：标准注意力 O(n²)，长序列无法承受；稀疏注意力只关注部分位置，降到 O(n·w)
- 滑动窗口：每个 token 只看前后各 w/2 邻居
- 全局+局部：少数全局 token + 窗口内邻居（Longformer、BigBird）
- Longformer = 滑动窗口 + 全局注意力 + 扩张窗口
扩展知识
- BigBird 用「随机 + 窗口 + 全局」组合近似全注意力
- 详细讲解：大模型基础
23. 线性注意力（Linear Attention）的原理是什么？有什么优缺点？
📋 回答重点
- 用可分解核函数 φ 替换 softmax，交换矩阵乘法顺序：
φ(Q)(φ(K)^T V)，先算 d×d 矩阵 - 复杂度 O(n²·d) → O(n·d²)，长序列几乎线性
- 优点：长文本算力/显存几乎线性；缺点：去掉 softmax 后注意力无法稀疏化、建模能力弱
扩展知识
- 代表：Performer、Linear Transformer；RWKV 借鉴其思想
- 详细讲解：大模型基础
24. 注意力计算中 softmax 的作用是什么？去掉 softmax 会怎样？
📋 回答重点
- 归一化：映射为非负、和为 1 的概率分布，输出量级稳定
- 放大差异：指数函数拉开高低分，注意力聚焦（稀疏化）
- 可导：配合交叉熵，梯度简单
- 去掉后：分数无界不归一、注意力趋于「均匀关注」、效果显著下降
扩展知识
- 「去掉 softmax 失去稀疏性」正是线性注意力的痛点
- 详细讲解：大模型基础
25. 什么是 sliding window attention？为什么能节省显存和算力？
📋 回答重点
- 每个 token 只关注固定窗口内 token（如 w=4096）
- 算力 O(n²) → O(n·w)；KV cache 只存最近 w 个 token，O(w) 与长度解耦
- 代表：Mistral；代价是远距离依赖丢失，靠多层堆叠扩大感受野弥补
扩展知识
- 第 k 层能看到约 k·w 范围，逐层传递全局信息
- 详细讲解：大模型基础
26. ALiBi 位置编码的原理是什么？为什么它能外推？
📋 回答重点
- 不加位置向量，直接在注意力分数上按距离线性衰减：
score = QK^T/√d_k - m·|i-j| - 每个头用不同斜率 m（几何递增），距离越远惩罚越大
- 外推原因：线性规律可平滑延伸到未见距离，无需插值；训练 1k 可外推到 2k/3k+
扩展知识
- 与 RoPE 插值方案形成对比，ALiBi 是纯偏置方案
- 详细讲解：大模型基础
27. RoPE（旋转位置编码）的数学原理是什么？为什么能编码相对位置？
📋 回答重点
- 把位置编码为对 Q/K 的二维旋转，维度两两配对、角度
θ_i·pos - 旋转是正交变换，保模长、只改方向
- 点积结果只依赖
θ·(n-m)，即天然编码相对位置，同时保留绝对位置
扩展知识
- 主流（LLaMA/Qwen/DeepSeek）都用 RoPE，外推好
- 详细讲解：大模型基础
28. 位置编码的「外推」和「内插」有什么区别？
📋 回答重点
- 外推：处理超过训练长度的序列，位置按公式直接外延（ALiBi、NTK）
- 内插：把长序列位置按比例压缩回训练范围（Position Interpolation、YaRN）
- 外推风险是未见位置不稳；内插风险是分辨率下降、相邻 token 混淆
扩展知识
- NTK 改 RoPE 旋转基（频率缩放），是「隐式外推」；YaRN 兼两者
- 详细讲解：大模型基础
29. 为什么绝对位置编码难以外推到长序列？
📋 回答重点
- 可学习绝对位置：训练外的新位置 embedding 是随机初始化，模型无法利用
- 正弦绝对位置：有解析公式但训练没见过的长距离注意力模式，泛化差
- 本质：绝对坐标强绑定，序列变长后坐标分布偏移
- 解法：改用相对位置编码（ALiBi、RoPE），靠「距离」可外推
扩展知识
- 「相对位置」编码的是距离而非绝对坐标，规律可平滑延伸
- 详细讲解：大模型基础
30. Pre-Norm 和 Post-Norm 有什么区别？为什么现代模型用 Pre-Norm？
📋 回答重点
- Post-Norm：
y = x + F(LN(x))，归一化在残差分支内，梯度易消失 - Pre-Norm：
y = LN(x + F(x))，恒等路径通畅、梯度直通 - Pre-Norm 深网络更稳、无需精细 warmup，是千亿模型能训练的关键
扩展知识
- 原始 Transformer 用 Post-Norm，LLaMA 系改 Pre-Norm
- 详细讲解：大模型基础
31. RMSNorm 的原理是什么？相比 LayerNorm 省了什么？
📋 回答重点
- LayerNorm 做「减均值 + 除标准差」；RMSNorm 只做均方根缩放，去掉均值平移
- 省：少算均值统计、少一个参数 β
- 效果与 LayerNorm 相当，训练/推理更快，是 LLaMA 系标配
扩展知识
- 公式
RMSNorm: y = x/RMS(x)·γ，RMS(x)=sqrt(mean(x²)) - 详细讲解：大模型基础
32. GELU 和 SiLU（Swish）有什么区别？为什么替代 ReLU？
📋 回答重点
- ReLU：max(0,x)，负半轴硬零、x=0 不可导，会「杀死负梯度」（死神经元）
- GELU：x·Φ(x)，平滑；SiLU/Swish：x·sigmoid(x)，平滑非单调、计算更省
- 替代 ReLU 的原因：平滑可导、负半轴非硬零，信息流连续、深度模型收敛更好
扩展知识
- SiLU 有轻微非单调（负区间先降后升），LLaMA 系使用
- 详细讲解：大模型基础
33. 什么是 GLU 门控结构？SwiGLU 为什么效果好？
📋 回答重点
- GLU = 双分支门控相乘：一个分支激活门控、一个分支线性投影，逐元素相乘
- SwiGLU 把门控 sigmoid 换成 Swish：
Swish(x·W1)⊙(x·V) - 效果好：门控选择性通过/抑制 + 双分支相乘增强非线性，同等算力优于 ReLU
扩展知识
- 中间维度通常从 4× 调成约 8/3× 以平衡参数量
- 详细讲解：大模型基础
34. BPE 的合并过程是怎样的？能否举例说明？
📋 回答重点
- 从字符级词表出发，反复合并出现频率最高的相邻符号对
- 步骤：统计最高频相邻对 → 合并为新符号 → 重复到词表上限
- 例：
low/lower/newest/widest中先合并 “e”+“s”（9 次）成 “es”，再 “es”+“t” 成 “est”
扩展知识
- 最终
lower→low+er、newest→new+est，罕见词拆成高频子词组合 - 详细讲解：大模型基础
35. 什么是 OOV（未登录词）？子词分词如何解决？
📋 回答重点
- OOV = 词表中不存在的词，词级分词遇新词只能退化为 UNK，信息丢失
- 子词分词把词拆成更小单元（
unbelievable→un+believ+able），任何词都可用已见子词拼出 - 理论上零 OOV，配合 byte-level 连任意字符都能表示
扩展知识
- BPE/WordPiece/SentencePiece 都是子词分词
- 详细讲解：大模型基础
36. 特殊 token（BOS/EOS/PAD/UNK）分别是什么？
📋 回答重点
- BOS 序列开头、EOS 序列结尾（生成到它即停止）、PAD 补齐变长（需 mask）、UNK 词表外兜底
- EOS 是自回归解码的「刹车」信号
- PAD 位置必须在注意力中 mask 掉，否则污染其它 token
扩展知识
- LLaMA 等常用
<s>兼作 BOS、</s>作 EOS - 详细讲解：大模型基础
37. 词表大小如何权衡？太大或太小各有什么问题？
📋 回答重点
- 词表大小 V 决定：embedding 矩阵（V×d）、softmax 开销（V 类）、切分粒度
- 太小：词切太碎、序列变长、语义割裂；太大：矩阵大、长尾词训练不足
- 结论：词表越大 token 越少（成本低）但矩阵越大，需按语种/算力调优
扩展知识
- 现代大模型 V 约 3 万~25 万（LLaMA 32k、Qwen 15 万+）
- 详细讲解：大模型基础
38. 什么是 byte-level BPE？为什么能覆盖所有字符？
📋 回答重点
- 以 UTF-8 字节（0~255） 为最小合并单位，而非字符
- 256 个字节符号可表示所有 Unicode 字符（中文/emoji/罕见符号）
- 未见字符也能拆成字节级子词，彻底消除 OOV，且无需预分词、语言无关
扩展知识
- GPT-2 提出后成为 GPT 系默认；代价是字节序列更长
- 详细讲解：大模型基础
39. temperature 的原理是什么？为什么缩放 logits？
📋 回答重点
- 在 softmax 前缩放 logits：
p_i = softmax(z_i/T) - T→0 分布趋近 one-hot（确定单调）；T=1 原始分布；T→∞ 趋近均匀（随机多样）
- 本质是控制分布熵，把「确定性 ↔ 多样性」交给一个标量参数
扩展知识
- 实践：对话/创作 T≈0.7
1.0，代码/数学 T≈00.3 - 详细讲解：大模型基础
40. top-p 和 top-k 有什么区别？各自的优缺点？
📋 回答重点
- top-k：固定取概率前 k 个 token；top-p（nucleus）：取累计概率达 p 的最小集合
- top-k 候选数固定，对分布形状不敏感（平坦漏 token、尖锐引入垃圾），k 难调
- top-p 动态自适应分布形状，通常更稳；实践常组合使用
扩展知识
- 对话生成常用
top-p=0.9 - 详细讲解：大模型基础
41. repetition penalty 是什么？如何抑制生成重复？
📋 回答重点
- 对已生成 token 的 logits 做惩罚，降低再次被选中的概率（penalty 典型 1.1~1.3）
- frequency penalty：按出现次数累加惩罚；presence penalty：出现过就固定惩罚
- 另有 no_repeat_ngram_size 硬禁止重复 n-gram
扩展知识
- 可与 top-p/top-k、temperature 配合使用
- 详细讲解：大模型基础
42. beam search 的 beam size 如何影响生成质量与速度？
📋 回答重点
- 每步保留 k 条概率最高候选，最后选整体概率最高；k=1 退化为 greedy
- k 越大越接近全局最优、连贯性好，但速度约 O(k) 倍、收益递减
- 还引入「长度偏差」需 length penalty 校正；对话/创意不用 beam（输出刻板）
扩展知识
- 翻译/摘要常取 k=4~8；对话改用 sampling
- 详细讲解：大模型基础
43. 为什么 greedy 解码容易产生重复？如何缓解？
📋 回答重点
- 每步只取最大概率，陷入局部最优高频循环，且无随机性扰动、自增强
- 缓解：sampling/top-p/top-k 引入随机性、repetition/frequency penalty 惩罚已生成 token、no_repeat_ngram_size 禁止 n-gram
扩展知识
- 提高 temperature 也能适当增加多样性
- 详细讲解：大模型基础
44. 为什么中文比英文更费 token？这对成本有什么影响？
📋 回答重点
- 无空格需分词、汉字 UTF-8 占 3 字节、词表英文语料偏置 → 中文 token 更多
- 粗略：1 汉字 ≈ 0.7~1.5 token，1 英文词 ≈ 1.3 token
- 成本影响：API 按 token 计费 → 中文更贵；上下文窗口更快占满
扩展知识
- 中文长文档更受限，需考虑 token 预算优化
- 详细讲解：大模型基础
45. 上下文窗口越大越好吗？长上下文有什么代价？
📋 回答重点
- 不是越大越好：KV cache 随长度线性增长、注意力 O(n²) 平方增长
- Lost in the Middle：长文中间信息易被忽略，窗口大不等于用得好
- 训练成本高、位置外推可能掉点；应「按需选择 + 工程优化压成本」
扩展知识
- 长上下文配合 GQA/MLA、FlashAttention、稀疏注意力控制成本
- 详细讲解：大模型基础
46. 什么是 attention sink？为什么首 token 很重要？
📋 回答重点
- attention sink = 首 token（BOS/句首）吸引大量注意力分数，即使无语义
- 首 token 是「软掩码的垃圾桶」：承接被忽略位置的多余注意力，保证 softmax 和为 1、数值稳定
- StreamingLLM 利用它「保留首 token + 滑窗」做无限长流式推理
扩展知识
- 去掉首 token 往往导致长文推理质量下降
- 详细讲解：大模型基础
47. 什么是 perplexity（困惑度）？如何理解？
📋 回答重点
- 公式
PPL = exp(-(1/N)Σ log p(w_i|w_<i))，是交叉熵的指数 - 直觉 = 「模型对下一个词的平均候选数」：PPL=50 像在 50 个词里猜
- 越低越好；但不能跨词表比较、不等于下游任务效果
扩展知识
- 用于衡量语言建模能力，需同词表/同语料下比较
- 详细讲解：大模型基础
48. 什么是 in-context learning（上下文学习）？
📋 回答重点
- 模型不更新参数，仅在 prompt 给「示例 + 问题」就完成新任务
- 与微调本质不同：ICL 只改变输入，不做梯度更新
- 是大模型涌现能力（GPT-3 发现），小模型不明显
扩展知识
- 机制主流解释：注意力在隐式做「元学习/线性回归」
- 详细讲解：大模型基础
49. 什么是 few-shot 和 zero-shot？为什么 prompt 里给示例有效？
📋 回答重点
- zero-shot：只给任务描述不给示例；few-shot：给少量（3~5 个）输入-输出示例
- 给示例有效：激活预训练能力、隐式定义任务与输出格式、对齐输入输出分布
- few-shot 一般比 zero-shot 稳定，但更费 token
扩展知识
- 示例本质是触发 in-context learning
- 详细讲解：大模型基础
50. 多语言大模型如何平衡各语言的能力？
📋 回答重点
- 核心矛盾：「多语言诅咒」——容量固定，语言越多单语言能力越易被稀释
- 手段：数据配比（上采样低资源语）、共享词表复用表示、跨语言对齐（XLM-R）、多语言指令微调
- 目标是让低资源语言不被高资源语言挤占
扩展知识
- 平行语料/跨语言预训练目标让表示跨语言对齐
- 详细讲解：大模型基础