相关信息
记录个人参与的 LLM 相关项目与实践经验。以下是项目模板,填写你自己的项目信息即可。
相关信息
记录个人参与的 LLM 相关项目与实践经验。以下是项目模板,填写你自己的项目信息即可。
提示
精选 LLM 领域优质学习资源,持续收录中。欢迎补充推荐!
说明
这是一份 LLM 学习路线图,从基础到进阶逐步深入。标注 ✅ 的是已有笔记的内容,点击可直接跳转。
打好数学和深度学习基础,理解 Transformer 架构。
理解注意力机制的各种变体和优化。
你好,我是 guoziyue-seeker,一个专注于 LLM 技术的学习者。
MLA (Multi-Head Latent Attention,多头潜在注意力机制) 是由 DeepSeek (深度求索) 在其 DeepSeek-V2 模型中提出的一种创新架构。
在理解这些机制的区别前,核心要关注的指标是 KV Cache(键值缓存)。
在大模型推理(Generate)阶段,为了避免重复计算,我们会把之前生成的 Token 的 Key 和 Value 矩阵存在显存里。
Online Softmax 是 FlashAttention 能够成功的数学基石。
要理解它,我们得先看传统的 Softmax 在计算机里是怎么算的,遇到了什么问题,然后看 Online Softmax 是如何用一个巧妙的**“数学补丁”**解决这个问题的。
Softmax 的公式原本很简单:
Softmax(xi)=∑exjexi
在大模型(LLM)推理过程中,**Prefill(预填充/首字生成)**和 Decoding(解码/逐字生成) 是两个截然不同的计算阶段。
虽然它们用的是同一个模型、同一套权重,但在计算形态、硬件瓶颈和数据流动方式上,它们简直像是两种不同的负载。
以下是详细的深度对比:
一种通过“减少 HBM 访问次数”来加速计算的算法。它不改变计算量(FLOPS),但极大地减少了数据搬运的时间(IO)
简单一句话总结 FlashAttention 的核心思想:
它是一种通过“减少 HBM 访问次数”来加速计算的算法。它不改变计算量(FLOPS),但极大地减少了数据搬运的时间(IO)。
在大模型领域,IO(搬运数据)往往比计算更慢,所以“少跑几趟仓库”就能带来巨大的速度提升。
关键点:定义意图槽位 + 每个意图和槽位的 Few-Shot + CoT + 结构化格式JSON输出识别结果 + qwen3-max
优点:简单
缺点:意图数量增多时,提示词长度膨胀,3s以上
优点:各意图分离,单独进行抽槽
缺点:AI调用次数增多,qwen3-max,慢
以float16为例
参数:2Φ
KVcache:2byte*(K+V)
2Φ+2∗2∗b(s+n)hl