视频加载失败

ACoolBlog

浅解大模型训练中的数据格式与混合精度
FP16/BF16/FP8 的取舍、为什么 BF16 赢得训练而 FP16 退守推理,以及 AMP 混合精度训练的显存拆账。
#混合精度#BF16#FP8+1
浅解码码策略与投机解码
从 logits 到 token 的解码策略(Temperature / Top-K / Top-p)与投机解码的草稿-验证机制、接受概率公式与无损保证。
#解码策略#投机解码#采样+1
GPU 架构与内存层级:SRAM、L2 与 FlashAttention 分块
从 SRAM、Shared Memory、L2 Cache 到 HBM 的层级关系,以及 FlashAttention 如何用分块把显存复杂度从 O(N²) 压到 O(N)。
#GPU#SRAM#FlashAttention+1
浅解 KV Cache 与 FlashAttention
KV Cache 解决"历史状态累积",FlashAttention 解决"单次计算的瞬时访存"——两堵显存墙的成因与解法。
#KV Cache#FlashAttention#显存优化
一个方程的四种解法:PPO / DPO / GRPO / GSPO
RLHF 的目标方程只有一行,PPO / DPO / GRPO / GSPO 是它的四种解法。从策略梯度、优势函数到重要性采样,一篇打通四个算法的共同骨架。
#RLHF#PPO#DPO+3
10 分钟了解 SRAM、L1 Cache、L2 Cache
SRAM、Shared Memory、L1、L2、HBM 到底是什么关系?用一张结构图讲清 GPU 的存储层级。
#SRAM#Cache#GPU
Profile Image of the Author
ACoolBlog
在读研究生 · 多模态视频理解 | 记录 Agent、强化学习与 LLM 推理的学习笔记
公告
欢迎来到我的博客!这是一则示例公告。
分类
标签
最新动态
站点统计
文章
6
分类
4
标签
21
总字数
17,027
运行时长
0 天
最后活动
0 天前

当前页面没有目录

文章目录

当前页面没有目录