学习路线
2026/3/1大约 2 分钟
LLM 学习路线
说明
这是一份 LLM 学习路线图,从基础到进阶逐步深入。标注 ✅ 的是已有笔记的内容,点击可直接跳转。
阶段一:基础入门
打好数学和深度学习基础,理解 Transformer 架构。
1. 线性代数与概率论基础
矩阵运算、特征分解、概率分布 —— LLM 的数学基石
2. 深度学习基础
前馈网络、反向传播、优化器、正则化
3. Transformer 架构
Self-Attention、Positional Encoding、Encoder-Decoder
阶段二:注意力机制深入
理解注意力机制的各种变体和优化。
✅ 4. 多头注意力实现
从零实现 Multi-Head Attention
✅ 5. MLA 多头潜在注意力
DeepSeek-V2 的高效注意力变体
✅ 6. Online Softmax
Safe Softmax 到 Online Softmax 的演进
✅ 7. Flash Attention
IO-Aware 精确注意力,大幅降低显存
阶段三:训练与微调
掌握大模型的训练范式与微调技巧。
8. 预训练技术
自回归预训练、数据处理、训练策略 —— 待补充
✅ 9. Linux 下微调 LLM
LoRA/QLoRA 微调的完整实战流程
✅ 10. LLM 显存占用分析
训练和推理时的显存开销详细计算
阶段四:推理优化
深入推理阶段的性能优化。
✅ 11. Prefill 与 Decoding
理解推理两阶段及优化方向
12. KV Cache 优化
PagedAttention、连续批处理 —— 待补充
13. 量化与蒸馏
INT8/INT4 量化、知识蒸馏 —— 待补充
阶段五:应用系统
构建基于 LLM 的实际应用系统。
✅ 14. RAG 检索增强生成
RAG 系统的架构、检索策略与实现
✅ 15. 意图识别
对话系统中的意图识别技术
✅ 16. 商品推荐 Agent
基于 LLM 的智能体设计实践
✅ 17. 上下文工程
如何更好地管理 LLM 的上下文
持续更新
学习路线将持续完善,欢迎关注更新。空链接的卡片表示计划中但尚未完成的内容。