学习博客
2025/10/14大约 2 分钟
学习博客
记录在 LLM 领域的学习笔记与技术思考,内容按主题分类整理。
注意力机制
深入理解 Transformer 的核心 —— 注意力机制的原理与优化实现。
多头注意力实现
从零实现 Multi-Head Attention,理解 Q/K/V 计算流程
MLA(多头潜在注意力)
DeepSeek-V2 提出的高效注意力变体,大幅压缩 KV Cache
Flash Attention
IO-Aware 的精确注意力算法,显著降低显存占用
Online Softmax
理解 Safe Softmax 到 Online Softmax 的演进,FlashAttention 的数学基础
推理优化
关注 LLM 推理阶段的性能瓶颈与优化策略。
RAG & Agent
检索增强生成与智能体系统的设计实践。
工程实践
模型训练、微调和落地部署的实战经验。
上下文工程
探索如何更好地管理和优化 LLM 的上下文。