MLA (Multi-Head Latent Attention,多头潜在注意力机制) 是由 DeepSeek (深度求索) 在其 DeepSeek-V2 模型中提出的一种创新架构。
1. 背景:显存的瓶颈 (KV Cache)
在理解这些机制的区别前,核心要关注的指标是 KV Cache(键值缓存)。
在大模型推理(Generate)阶段,为了避免重复计算,我们会把之前生成的 Token 的 Key 和 Value 矩阵存在显存里。
2025/12/7大约 5 分钟
MLA (Multi-Head Latent Attention,多头潜在注意力机制) 是由 DeepSeek (深度求索) 在其 DeepSeek-V2 模型中提出的一种创新架构。
在理解这些机制的区别前,核心要关注的指标是 KV Cache(键值缓存)。
在大模型推理(Generate)阶段,为了避免重复计算,我们会把之前生成的 Token 的 Key 和 Value 矩阵存在显存里。
Online Softmax 是 FlashAttention 能够成功的数学基石。
要理解它,我们得先看传统的 Softmax 在计算机里是怎么算的,遇到了什么问题,然后看 Online Softmax 是如何用一个巧妙的**“数学补丁”**解决这个问题的。
Softmax 的公式原本很简单:
Softmax(xi)=∑exjexi
在大模型(LLM)推理过程中,**Prefill(预填充/首字生成)**和 Decoding(解码/逐字生成) 是两个截然不同的计算阶段。
虽然它们用的是同一个模型、同一套权重,但在计算形态、硬件瓶颈和数据流动方式上,它们简直像是两种不同的负载。
以下是详细的深度对比:
以float16为例
参数:2Φ
KVcache:2byte*(K+V)
2Φ+2∗2∗b(s+n)hl
文档索引阶段:文档加载 -> 文本分块 -> 向量化 -> 存储
检索与生成阶段:用户查询 -> 向量化 -> 检索 -> 构建prompt -> 生成答案
检索前:
1)采用合适的文本分块策略
2)查询重述,多查询
3)假设文档嵌入(HyDE)
检索中:
1)混合检索:BM25 + 向量相似度检索