视频加载失败

浅解码码策略与投机解码

1665 字
8 分钟
浅解码码策略与投机解码

一、解码策略:从 logits 到 token#

1.1 核心问题#

模型输出的是整张词表的 logits(形状 [vocab_size],如 32000 个数),怎么把它变成下一个 token?

  • 永远选最高分(Greedy)→ 输出死板、重复

  • 完全随机采样 → 容易失控、胡言乱语

解码策略要做的,就是在”确定性”和”多样性”之间设定一套可控规则。

1.2 三个核心策略#

策略公式作用直觉
Temperaturelogits / T调分布形状T<1 变尖锐(更确定),T>1 变平缓(更随机)
Top-K保留分数最高的 K 个固定数量截断其余 logits 置 −∞,不管分布形状
Top-p (Nucleus)累积概率超过 p 即截断动态截断分布尖锐时少留,平缓时多留

区别: Top-K 是固定数量,Top-p 是动态数量——后者能根据分布形状自适应。

1.3 解码流程#

Logits → Temperature → Top-K → Top-p → Softmax 重归一化 → Multinomial 采样 → next token

顺序不能乱:温度调节影响分布形状,必须在截断之前做。通常先 K 后 p。

1.4 Top-p 实现难点#

以词表 5 个词、概率 [0.5, 0.3, 0.1, 0.05, 0.05]、阈值 p=0.85 为例:

  1. 降序排序,记住原始索引
  2. 算 softmax 得概率,再算 cumsum:[0.5, 0.8, 0.9, 0.95, 1.0]
  3. 找超过 0.85 的位置:[False, False, True, True, True]
  4. 向右平移一位:保留第一个超过阈值的 token,掩码变 [False, False, False, True, True]
  5. 对应位置 logits 置 −∞
  6. scatter_ 恢复原始索引顺序

为什么要平移? 累加和刚超过 p 的那个 token 是”刚好够”的临界点,必须保留,否则核会变小导致采样失真。

1.5 代码参考#

def apply_temperature(logits, temperature):
temp = max(temperature, 1e-6) # 防除零
return logits / temp
def apply_top_k(logits, top_k):
if top_k <= 0 or top_k >= logits.size(-1):
return logits
kth_values, _ = torch.topk(logits, top_k, dim=-1, largest=True, sorted=True)
kth_values = kth_values[..., -1:] # 第 K 大的值
return torch.where(logits < kth_values, torch.tensor(float('-inf')), logits)
def apply_top_p(logits, top_p):
if top_p <= 0.0 or top_p >= 1.0:
return logits
sorted_logits, sorted_indices = torch.sort(logits, descending=True)
cumulative_probs = torch.cumsum(F.softmax(sorted_logits, dim=-1), dim=-1)
sorted_indices_to_remove = cumulative_probs > top_p
# 向右平移,保留临界 token
sorted_indices_to_remove[..., 1:] = sorted_indices_to_remove[..., :-1].clone()
sorted_indices_to_remove[..., 0] = 0
sorted_logits[sorted_indices_to_remove] = float('-inf')
return torch.zeros_like(logits).scatter_(dim=-1, index=sorted_indices, src=sorted_logits)
def decode_next_token(logits, temperature=0.7, top_k=50, top_p=0.9):
logits = apply_temperature(logits, temperature)
logits = apply_top_k(logits, top_k)
logits = apply_top_p(logits, top_p)
probs = F.softmax(logits, dim=-1)
return torch.multinomial(probs, num_samples=1)

二、投机解码:减少大模型逐 token 调用#

2.1 核心问题#

自回归生成最慢的地方,不是一次前向有多复杂,而是大模型必须一个 token 一个 token 串行走。前面 Flash Attention 和 PagedAttention 解决了”单次更快/更省显存”,投机解码走另一条路:能不能先让小模型多猜几步,再由大模型一次性并行验证?

2.2 核心机制:草稿-验证#

Draft Model(小)→ 候选序列 x₁,x₂,...,x_K → Target Model(大)并行验证 → 接受-拒绝逐个判定
  • 草稿模型:小而快,先自回归猜 K 个 token

  • 目标模型:大而准,对这 K 个位置一次性并行算出概率

  • 验证循环:逐个比较 p(x) 和 q(x),能接受就连续前进,拒绝时立刻 break

2.3 接受概率公式(核心)#

α(x)=min⁡(1,p(x)q(x))\alpha(x) = \min\left(1, \frac{p(x)}{q(x)}\right)

  • p(x):大模型概率,q(x):小模型概率
情况条件接受概率行为
A:必接受p ≥ qα = 1大模型认为 token 足够合理,直接接受,不用掷硬币
B:按概率接受p < qα = p/q < 1小模型过于激进,掷硬币决定;拒绝则立刻 break

为什么 B 要校正: 小模型概率 q 偏高(它觉得这个 token 很可能),但大模型概率 p 偏低(大模型觉得不太可能)。直接接受会把小模型的偏差带进来,所以用 p/q 压低接受率。

2.4 为什么无损#

拒绝时停止草稿链,交还大模型重新采样。最终输出分布 = 纯大模型自回归生成,数学上严格等价。

关键约束: 后续草稿 token 都建立在前缀被接受的前提上。一旦某个 token 被拒绝,后面猜的全作废——这是”带终止条件的接受-拒绝采样”。

2.5 代码参考#

def speculative_verify(draft_probs, target_probs, draft_tokens):
"""
draft_probs: 小模型概率 [K, vocab_size]
target_probs: 大模型概率 [K, vocab_size]
draft_tokens: 小模型采样的 K 个 token_id
返回: 被接受的 token 列表
"""
accepted_tokens = []
for i in range(len(draft_tokens)):
token_id = draft_tokens[i]
p = target_probs[i, token_id].item()
q = draft_probs[i, token_id].item()
if p >= q:
# 情况 A:必接受
accepted_tokens.append(token_id)
else:
# 情况 B:按 p/q 掷硬币
r = torch.rand(1).item()
if r < p / q:
accepted_tokens.append(token_id)
else:
break # 拒绝,停止后续验证
return accepted_tokens

2.6 加速来源#

  • 大模型从”K 次串行前向”变成”1 次并行前向”

  • 草稿模型虽小,但猜对的部分都算白赚

  • 瓶颈从”大模型调用次数”转移到”草稿命中率”


三、二者的联系:单步质量 → 吞吐加速#

解码策略投机解码
解决的问题选哪个 token(单步质量)怎样更快生成更多 token(吞吐加速)
关注层面单次采样的分布控制跨 token 的调用次数优化
改变分布吗会(温度/截断改变生成风格)不会(最终分布严格等价大模型)
依赖关系投机解码的草稿/目标模型内部都要用解码策略的采样解码策略是投机解码的子组件

递进关系: 解码策略是投机解码的基础——投机解码里草稿模型和大模型各自的采样,用的就是 temperature/top-k/top-p 这套流水线。先学会”怎么选 token”,才能理解”怎么批量验证加速”。

与前面内容的呼应#

这四块从不同维度压缩自回归推理的延迟:

维度对应内容解决什么
单次前向更省显存FlashAttentionN×N 中间矩阵不落 HBM
历史状态更省显存KV Cache减少/管理要存的 K/V
选 token 更准解码策略logits → token 的分布控制
调大模型更少投机解码小模型先猜,大模型批量验证

四、速记#

解码流水线:
logits → /T → Top-K → Top-p → Softmax → Multinomial
顺序铁律:先 Temperature 再截断,最后归一化采样
Top-p 实现六步:
sort降序 → softmax+cumsum → 找超阈值 → 右移一位 → 置-inf → scatter_恢复
投机解码接受概率:
α(x) = min(1, p(x)/q(x))
p ≥ q → 必接受
p < q → 以 p/q 掷硬币,拒绝则 break
无损保证:
拒绝时停止草稿链 → 大模型重采样 → 最终分布 = 纯大模型自回归
四块加速维度:
FlashAttention → 单次前向显存
KV Cache → 历史状态显存
解码策略 → 单步采样质量
投机解码 → 大模型调用次数

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或打赏支持!

打赏
浅解码码策略与投机解码
https://acoolfish.site/posts/decoding-and-speculative/
作者
ACoolBlog
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0
Profile Image of the Author
ACoolBlog
在读研究生 · 多模态视频理解 | 记录 Agent、强化学习与 LLM 推理的学习笔记
公告
欢迎来到我的博客!这是一则示例公告。
分类
标签
最新动态
站点统计
文章
6
分类
4
标签
21
总字数
17,027
运行时长
0 天
最后活动
0 天前
文章目录