视频加载失败

浅解 KV Cache 与 FlashAttention

2057 字
10 分钟
浅解 KV Cache 与 FlashAttention

KV Cache 解决”历史状态累积”,FlashAttention 解决”单次计算的瞬时访存”

做大模型推理,绕不开两件事:

  • 上下文越来越长
  • 显存越来越不够用

但”显存不够”这件事,其实发生在两个不同的地方。一个是解码时历史状态越攒越多,一个是单次 Attention 计算时中间矩阵太大。

这两堵墙,对应两个关键技术:KV Cache 与 FlashAttention。

这篇文章把它们放在一起讲清楚——各自面临什么问题、怎么解决、彼此是什么关系。读完之后,你应该能一眼看出:“这个显存瓶颈,到底卡在哪一段”。


一、KV Cache:用显存换计算#

它是什么#

自回归解码时,每生成一个新 token,模型都要让当前 token 的 Q 去和历史所有 token 的 K、V 做注意力。

如果不缓存,每步都要重算所有历史 token 的 K/V——代价随序列长度平方增长。

KV Cache 的本质:把历史 token 的 Key 和 Value 预先算好并存下来,后续每步只算新 token 的 Q,直接复用缓存里的 K/V。

它面临的问题:显存随上下文线性增长#

缓存大小公式(标准 MHA):

KV Cache Bytes≈2×L×B×Hkv×D×S\text{KV Cache Bytes} \approx 2 \times L \times B \times H_{kv} \times D \times S

符号含义:

  • 2:同时存 K 和 V
  • L:层数(每层都要单独存一份)
  • B:batch size(多请求各自复制)
  • H_kv:KV 头数
  • D:head dim
  • S:上下文长度

注意:KV Cache 是”历史状态成本”。 上下文越长、batch 越大、层数越多,缓存就越大——而且这三个因素是相乘的。

看实际数字(L=32, H_kv=32, D=128):

seq_lenKV Cache
1024≈ 0.54 GB
2048≈ 1.07 GB
4096≈ 2.15 GB

所以长上下文推理里,最先爆的往往不是算力,而是显存。

当前怎么解决:三个方向#

方向解决什么直觉
MQA / GQA缩小 KV 头数减少要存的 K/V 组数
PagedAttention缓存分配与碎片优化”怎么管 cache”
MLA表示压缩优化”cache 本身有多大”

方向一:MQA / GQA —— 压缩 KV 头数维度#

真正决定显存大小的,不是 query heads 有多少,而是要存多少组 K/V。

  • MHA:每个 query head 都有自己对应的 K/V,缓存压力最大
  • MQA:多个 query head 共享同一组 K/V,缓存立刻变小
  • GQA:介于两者之间,把 query heads 分组共享 K/V

看数字(S=4096, L=32, D=128):

方案KV 头数KV Cache
MHA32≈ 2.15 GB
GQA8≈ 0.54 GB
MQA1≈ 0.07 GB

只要 KV 头数下降,缓存就按比例下降。

方向二:PagedAttention —— 缓存管理(系统层)#

把 KV cache 按页组织,避免长序列和多请求场景里出现连续大块显存分配困难。

  • 重点不是把 K/V 表示本身压缩掉
  • 而是让缓存的存储、搬运和复用更稳定
  • 解决的是碎片化和分配问题

方向三:MLA —— 表示压缩(结构层)#

把原本需要长期保存的 KV 表示压到更低维的潜变量空间里。

  • 直接降低每个 token 需要保留的缓存体积
  • 解决的是”cache 本身有多大”

区别:PagedAttention 是在优化”怎么管 cache”,MLA 是在优化”cache 本身有多大”。前者偏系统实现,后者偏表示结构。

三个常见误区#

  • KV cache 不只和 token 数有关,它还和层数、batch size、KV 头数一起增长
  • MQA / GQA 不是单纯改名字,而是在实打实地压低缓存体积
  • PagedAttention 解决的是缓存管理和碎片化,不等于表示压缩
  • MLA 解决的是表示体积,不等于把调度和分配问题也一并解决

二、FlashAttention:把访存压下去#

为什么需要FlashAttention:标准 Attention 的显存瓶颈#

标准 Attention 的问题不是”算不动”,而是中间结果太大。

一次 QK^T 会生成接近 N×N 的注意力矩阵。如果这个矩阵要频繁写回 HBM(显存),再读出来做 Softmax 和后续乘法,显存访问次数就会非常多。

这意味着两件事:

  1. 中间结果占用的显存会迅速膨胀——空间复杂度 O(N²)
  2. 数据搬运会比计算本身更容易成为瓶颈——HBM 读写是性能墙

标准 Softmax 的痛点: 求每一行的最大值 m、求指数和 l、再算最终结果——在算出所有 x 之前,你无法算出 m 和 l,因此必须把所有的 x 先存下来。在 Attention 中,x 就是那个大规模的 S = QK^T 矩阵。

什么是 FlashAttention:tiling + online softmax#

核心思路:不要把完整 score 矩阵落到显存里,而是把 Q/K/V 分块,在小块上边算边更新 softmax 统计量和输出。

机制一:Tiling(分块)#

把 Q、K、V 切成能放进片上 SRAM 的小块。通过外层循环遍历 Q 块,内层循环遍历 K/V 块,在保持数学上完全等价的前提下,将显存消耗从 O(N²) 降到 O(N)。

看分块的效果(seq_len=4096):

tile_sizetile 工作集IO 压力降低
64≈ 8 KB≈ 4096x
128≈ 32 KB≈ 1024x
256≈ 128 KB≈ 256x

tile 越小,工作集越小,但需要调度的 tile 数越多。

机制二:Online Softmax(在线归约)#

在处理每个块时,就把局部最大值 m 和指数和 l 更新掉,避免把完整注意力矩阵写回 HBM。

更新公式:

  • 新的局部最大值:mnew=max⁡(mold,mblock)m_{new} = \max(m_{old}, m_{block})
  • 修正旧的指数和:lnew=lold⋅emold−mnew+lblock⋅emblock−mnewl_{new} = l_{old} \cdot e^{m_{old} - m_{new}} + l_{block} \cdot e^{m_{block} - m_{new}}
  • 修正旧的输出结果:Onew=Oold⋅lold⋅emold−mnewlnew+eSblock−mnew⋅VblocklnewO_{new} = O_{old} \cdot \frac{l_{old} \cdot e^{m_{old} - m_{new}}}{l_{new}} + \frac{e^{S_{block} - m_{new}} \cdot V_{block}}{l_{new}}

关键:换底修正。 当新块的最大值更大时,用指数因子 emold−mnewe^{m_{old}-m_{new}}(≤1)把旧结果”打折”到新基准下,不需要重新算前面的块。

本质:把压力从 HBM 挪到 SRAM#

  • HBM:容量大,但访问代价高
  • SRAM:容量小,但离计算更近、访问更快

FlashAttention 让中间数据停留在 SRAM 里,把 HBM 主要留给必要的输入输出。计算量没有本质减少,但大规模中间矩阵反复读写 HBM 的情况被明显压缩了。

这就是为什么 FlashAttention 常被描述为”IO-aware”:它不是单纯追求更多算术,而是通过更好的存储层级利用,减少最贵的数据搬运。

工业界演进:V1 → V2 → V3 → V4#

版本年份核心创新
FA-12022Tiling + Recomputation,空间复杂度 O(N²)→O(N)。局限:Non-Matmul 计算偏多,Occupancy 不高
FA-22023减少 Non-Matmul FLOPs(延迟归一化);Sequence Parallelism(序列级并行)
FA-32024绑定 Hopper (H100):WGMMA 异步计算、TMA 硬件搬运器、2-Stage→Ping-Pong Pipeline
FA-4—CuTeDSL 与 Blackwell 方向,代码生成 + kernel 组织一体化

FA-2 优化的关键思路: V1 每步都做标量缩放(跑在慢的 CUDA Core 上)。如果把 v_block 的缩放统一推迟到整行结束只做一次,能减少 non-matmul FLOPs,把更多算力留给 Tensor Core 的矩阵乘。

四个常见误区#

  • FlashAttention 不是把计算量消掉了,而是减少了中间结果落到 HBM 的次数
  • tiling 不是为了形式更复杂,而是为了让中间状态能留在更合适的存储层
  • online softmax 不是额外技巧,而是把归约过程前移到块内处理
  • 如果只盯着 FLOPs,不看数据搬运,通常会误判 FlashAttention 的收益

三、两张表放一起:它们到底在解决什么#

KV CacheFlashAttention
显存问题在哪解码阶段,每步累积的 K/V单次计算,N×N 中间矩阵
随什么增长序列长度 S(线性,O(L·S))序列长度 N(平方,O(N²))
关注维度时间累积(跨 token、跨时间步)空间瞬时(一次计算内)
解决方向GQA/MQA/MLA、PagedAttentiontiling + online softmax
谁在省显存减少要存的状态 / 管好已存状态不让中间矩阵落 HBM

四、重点小结#

KV Cache 增长: 2 × L × B × H_kv × D × S (线性于 S)
标准 Attention 中间矩阵: N × N (平方于 N)
FlashAttention 后: O(N) (分块 + 在线归约)
online softmax 换底修正三件套:
m_new = max(m_old, m_block)
l_new = l_old · e^(m_old−m_new) + Σ P_ij
O_new = O_old · (l_old·e^(m_old−m_new)/l_new) + (P_ij@V)/l_new
KV Cache 三个减负方向:
MQA/GQA → 压缩 KV 头数
PagedAttn → 缓存管理(系统层)
MLA → 表示压缩(结构层)

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!

打赏
浅解 KV Cache 与 FlashAttention
https://acoolfish.site/posts/kv-cache-and-flashattention/
作者
ACoolBlog
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0
Profile Image of the Author
ACoolBlog
在读研究生 · 多模态视频理解 | 记录 Agent、强化学习与 LLM 推理的学习笔记
公告
欢迎来到我的博客!这是一则示例公告。
分类
标签
最新动态
站点统计
文章
6
分类
4
标签
21
总字数
17,027
运行时长
0 天
最后活动
0 天前
文章目录