浅解 KV Cache 与 FlashAttention
KV Cache 解决”历史状态累积”,FlashAttention 解决”单次计算的瞬时访存”
做大模型推理,绕不开两件事:
- 上下文越来越长
- 显存越来越不够用
但”显存不够”这件事,其实发生在两个不同的地方。一个是解码时历史状态越攒越多,一个是单次 Attention 计算时中间矩阵太大。
这两堵墙,对应两个关键技术:KV Cache 与 FlashAttention。
这篇文章把它们放在一起讲清楚——各自面临什么问题、怎么解决、彼此是什么关系。读完之后,你应该能一眼看出:“这个显存瓶颈,到底卡在哪一段”。
一、KV Cache:用显存换计算
它是什么
自回归解码时,每生成一个新 token,模型都要让当前 token 的 Q 去和历史所有 token 的 K、V 做注意力。
如果不缓存,每步都要重算所有历史 token 的 K/V——代价随序列长度平方增长。
KV Cache 的本质:把历史 token 的 Key 和 Value 预先算好并存下来,后续每步只算新 token 的 Q,直接复用缓存里的 K/V。
它面临的问题:显存随上下文线性增长
缓存大小公式(标准 MHA):
符号含义:
2:同时存 K 和 VL:层数(每层都要单独存一份)B:batch size(多请求各自复制)H_kv:KV 头数D:head dimS:上下文长度
注意:KV Cache 是”历史状态成本”。 上下文越长、batch 越大、层数越多,缓存就越大——而且这三个因素是相乘的。
看实际数字(L=32, H_kv=32, D=128):
| seq_len | KV Cache |
|---|---|
| 1024 | ≈ 0.54 GB |
| 2048 | ≈ 1.07 GB |
| 4096 | ≈ 2.15 GB |
所以长上下文推理里,最先爆的往往不是算力,而是显存。
当前怎么解决:三个方向
| 方向 | 解决什么 | 直觉 |
|---|---|---|
| MQA / GQA | 缩小 KV 头数 | 减少要存的 K/V 组数 |
| PagedAttention | 缓存分配与碎片 | 优化”怎么管 cache” |
| MLA | 表示压缩 | 优化”cache 本身有多大” |
方向一:MQA / GQA —— 压缩 KV 头数维度
真正决定显存大小的,不是 query heads 有多少,而是要存多少组 K/V。
- MHA:每个 query head 都有自己对应的 K/V,缓存压力最大
- MQA:多个 query head 共享同一组 K/V,缓存立刻变小
- GQA:介于两者之间,把 query heads 分组共享 K/V
看数字(S=4096, L=32, D=128):
| 方案 | KV 头数 | KV Cache |
|---|---|---|
| MHA | 32 | ≈ 2.15 GB |
| GQA | 8 | ≈ 0.54 GB |
| MQA | 1 | ≈ 0.07 GB |
只要 KV 头数下降,缓存就按比例下降。
方向二:PagedAttention —— 缓存管理(系统层)
把 KV cache 按页组织,避免长序列和多请求场景里出现连续大块显存分配困难。
- 重点不是把 K/V 表示本身压缩掉
- 而是让缓存的存储、搬运和复用更稳定
- 解决的是碎片化和分配问题
方向三:MLA —— 表示压缩(结构层)
把原本需要长期保存的 KV 表示压到更低维的潜变量空间里。
- 直接降低每个 token 需要保留的缓存体积
- 解决的是”cache 本身有多大”
区别:PagedAttention 是在优化”怎么管 cache”,MLA 是在优化”cache 本身有多大”。前者偏系统实现,后者偏表示结构。
三个常见误区
- KV cache 不只和 token 数有关,它还和层数、batch size、KV 头数一起增长
- MQA / GQA 不是单纯改名字,而是在实打实地压低缓存体积
- PagedAttention 解决的是缓存管理和碎片化,不等于表示压缩
- MLA 解决的是表示体积,不等于把调度和分配问题也一并解决
二、FlashAttention:把访存压下去
为什么需要FlashAttention:标准 Attention 的显存瓶颈
标准 Attention 的问题不是”算不动”,而是中间结果太大。
一次 QK^T 会生成接近 N×N 的注意力矩阵。如果这个矩阵要频繁写回 HBM(显存),再读出来做 Softmax 和后续乘法,显存访问次数就会非常多。
这意味着两件事:
- 中间结果占用的显存会迅速膨胀——空间复杂度 O(N²)
- 数据搬运会比计算本身更容易成为瓶颈——HBM 读写是性能墙
标准 Softmax 的痛点: 求每一行的最大值 m、求指数和 l、再算最终结果——在算出所有 x 之前,你无法算出 m 和 l,因此必须把所有的 x 先存下来。在 Attention 中,x 就是那个大规模的 S = QK^T 矩阵。
什么是 FlashAttention:tiling + online softmax
核心思路:不要把完整 score 矩阵落到显存里,而是把 Q/K/V 分块,在小块上边算边更新 softmax 统计量和输出。
机制一:Tiling(分块)
把 Q、K、V 切成能放进片上 SRAM 的小块。通过外层循环遍历 Q 块,内层循环遍历 K/V 块,在保持数学上完全等价的前提下,将显存消耗从 O(N²) 降到 O(N)。
看分块的效果(seq_len=4096):
| tile_size | tile 工作集 | IO 压力降低 |
|---|---|---|
| 64 | ≈ 8 KB | ≈ 4096x |
| 128 | ≈ 32 KB | ≈ 1024x |
| 256 | ≈ 128 KB | ≈ 256x |
tile 越小,工作集越小,但需要调度的 tile 数越多。
机制二:Online Softmax(在线归约)
在处理每个块时,就把局部最大值 m 和指数和 l 更新掉,避免把完整注意力矩阵写回 HBM。
更新公式:
- 新的局部最大值:
- 修正旧的指数和:
- 修正旧的输出结果:
关键:换底修正。 当新块的最大值更大时,用指数因子 (≤1)把旧结果”打折”到新基准下,不需要重新算前面的块。
本质:把压力从 HBM 挪到 SRAM
- HBM:容量大,但访问代价高
- SRAM:容量小,但离计算更近、访问更快
FlashAttention 让中间数据停留在 SRAM 里,把 HBM 主要留给必要的输入输出。计算量没有本质减少,但大规模中间矩阵反复读写 HBM 的情况被明显压缩了。
这就是为什么 FlashAttention 常被描述为”IO-aware”:它不是单纯追求更多算术,而是通过更好的存储层级利用,减少最贵的数据搬运。
工业界演进:V1 → V2 → V3 → V4
| 版本 | 年份 | 核心创新 |
|---|---|---|
| FA-1 | 2022 | Tiling + Recomputation,空间复杂度 O(N²)→O(N)。局限:Non-Matmul 计算偏多,Occupancy 不高 |
| FA-2 | 2023 | 减少 Non-Matmul FLOPs(延迟归一化);Sequence Parallelism(序列级并行) |
| FA-3 | 2024 | 绑定 Hopper (H100):WGMMA 异步计算、TMA 硬件搬运器、2-Stage→Ping-Pong Pipeline |
| FA-4 | — | CuTeDSL 与 Blackwell 方向,代码生成 + kernel 组织一体化 |
FA-2 优化的关键思路: V1 每步都做标量缩放(跑在慢的 CUDA Core 上)。如果把
v_block的缩放统一推迟到整行结束只做一次,能减少 non-matmul FLOPs,把更多算力留给 Tensor Core 的矩阵乘。
四个常见误区
- FlashAttention 不是把计算量消掉了,而是减少了中间结果落到 HBM 的次数
tiling不是为了形式更复杂,而是为了让中间状态能留在更合适的存储层online softmax不是额外技巧,而是把归约过程前移到块内处理- 如果只盯着 FLOPs,不看数据搬运,通常会误判 FlashAttention 的收益
三、两张表放一起:它们到底在解决什么
| KV Cache | FlashAttention | |
|---|---|---|
| 显存问题在哪 | 解码阶段,每步累积的 K/V | 单次计算,N×N 中间矩阵 |
| 随什么增长 | 序列长度 S(线性,O(L·S)) | 序列长度 N(平方,O(N²)) |
| 关注维度 | 时间累积(跨 token、跨时间步) | 空间瞬时(一次计算内) |
| 解决方向 | GQA/MQA/MLA、PagedAttention | tiling + online softmax |
| 谁在省显存 | 减少要存的状态 / 管好已存状态 | 不让中间矩阵落 HBM |
四、重点小结
KV Cache 增长: 2 × L × B × H_kv × D × S (线性于 S)标准 Attention 中间矩阵: N × N (平方于 N)FlashAttention 后: O(N) (分块 + 在线归约)
online softmax 换底修正三件套: m_new = max(m_old, m_block) l_new = l_old · e^(m_old−m_new) + Σ P_ij O_new = O_old · (l_old·e^(m_old−m_new)/l_new) + (P_ij@V)/l_new
KV Cache 三个减负方向: MQA/GQA → 压缩 KV 头数 PagedAttn → 缓存管理(系统层) MLA → 表示压缩(结构层)支持与分享
如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!












