浅解大模型训练中的数据格式与混合精度
FP16/BF16/FP8 的取舍、为什么 BF16 赢得训练而 FP16 退守推理,以及 AMP 混合精度训练的显存拆账。
通过 Atom 订阅,第一时间获取最新文章和动态
复制链接到你的 Atom 阅读器
https://acoolfish.site/atom.xmlFP16/BF16/FP8 的取舍、为什么 BF16 赢得训练而 FP16 退守推理,以及 AMP 混合精度训练的显存拆账。
从 logits 到 token 的解码策略(Temperature / Top-K / Top-p)与投机解码的草稿-验证机制、接受概率公式与无损保证。
从 SRAM、Shared Memory、L2 Cache 到 HBM 的层级关系,以及 FlashAttention 如何用分块把显存复杂度从 O(N²) 压到 O(N)。
KV Cache 解决"历史状态累积",FlashAttention 解决"单次计算的瞬时访存"——两堵显存墙的成因与解法。
RLHF 的目标方程只有一行,PPO / DPO / GRPO / GSPO 是它的四种解法。从策略梯度、优势函数到重要性采样,一篇打通四个算法的共同骨架。
SRAM、Shared Memory、L1、L2、HBM 到底是什么关系?用一张结构图讲清 GPU 的存储层级。
当前页面没有目录
当前页面没有目录
当前页面没有目录