GPU 高性能计算
目录
计算的硬件加速思路
思路1: 缩短指令的执行时间
思路2: 提升单位时间内指令的吞吐量
对于cpu scalar 实现
CPU 使用 SIMD 实现 CPU 的向量化加速:
Cuda SPMD
并行策略
指令并行 ILP (Instuction Level Parallel)
CPU 指令并行示例
GPU 指令并行示例
多核并行 Multiple core parallelism
CPU 多核并行示例
GPU 多核并行示例
Multi-threaded parallelism
GPU 编程模型
GPU执行模型
GPU 内存模型
GPU 计算:Cuda Core VS Tensor Core
Cuda 编译原理
CUDA NVCC 工作原理及 Host/Device 编译器机制详解
NVCC 的编译流程 (Compilation Trajectory)
第三步:Host 编译 (CPU 侧)
第四步:胖二进制合并 (Fatbinary Embedding)
第五步:链接 (Linking)
Roofline Model —— 性能优化方向的理论指导
核心公式:性能的物理边界
关键概念:算术强度 (Operational Intensity)
图像解读:斜率与平台
实践分析
硬件参数获取(以 RTX 4000 Ada 为例)
实战案例分析
Roofline model的局限性
内存访问密集型高性能计算
GPU 的内存层次结构 (Memory Hierarchy)
L1 缓存的特殊之处
各级存储访问延迟的直观感受
内存访问合并
Bank conflict
优化技巧
内存访问密集型高性能实战
Naive 实现
共享内存优化(Shared Memory)
性能分析与对比
高级 cuda 特性 —— 从矩阵乘法(gemm)说起
使用Roofline Model对矩阵乘法进行性能分析。
情况 A:无缓存/无复用的实现 (Naive)
情况 B:理想状态/完全复用 (Ideal Cache)
从 Memory-bound 到 Compute-bound 的转变
显性的矩阵乘法性能分析
基本数据
理论极限分析
缓存缺失与带宽约束分析
综合对比总结
矩阵乘法中的分块与数据复用
Shared Memory Tiling (块级复用)
Register Tiling (线程级复用)
利特尔法则与占用率控制
利特尔法则 (Little’s Law):
占用率 (Occupancy) 的计算
人工控制占用率
总结
调度优化
隐藏访存延迟(Hiding Latency)
重叠计算与搬运(Overlapping Data Movement & Computation)
Tensor Cores
什么是 Tensor Core?
TF32 (TensorFloat-32) 精度
关键指令详解:
mma.sync
寄存器布局(Register Layout)—— 最难点
wgmma
:warp-group level tensor core instructions
GPU 上动态的调度 —— 从run-length-compression说起
并行扫描问题
Warp scan
Block scan
grid 级 scan:递归扫描 block sums
整体scan 流程
workspace size
Run length compression
Run length decompression
Cuda TMA (Tensor Memory Accelerator)
基础介绍
Tensor descriptor:
CUtensorMap
TMA 完成异步数据搬运
单 block、单 lane、单 tile 的 TMA load
TMA store
TMA reduce,把“搬运”和“归约”合并
Multicast:cluster 里同一块 tile 只读一次 global memory
TMA 中使用 swizzling pattern
编码和同步上容易出错的地方
TPU 与分布式通信原语
TPU 的硬件模型
ICI 与 NVLink 的带宽要先统一口径
TPU Pallas
TPU RDMA
一次 kernel 同时完成发送和接收
两个 DMA semaphore 管理两段缓冲区的生命周期
先让所有设备 start,再进入等待
reduce-scatter 与 all-gather
朴素 Reduce-Scatter 与 Ring 的传输量对比
reduce-scatter 与 all-gather 的 Ring 实现
collective matmul:通信与计算重叠
为什么需要通信与计算重叠
分块布局:为什么要转成 chunk-major
如何把 All-Gather-Matmul 改写成流水线重叠
如何把 Matmul-Reduce-Scatter 改写成流水线重叠
多层串联:消掉层间的 All-Gather
TIRx 基础
为什么是 TIRx
从一个最小 GEMM 开始,TIRx 在做什么
理解 TIRx,关键是看三个决定
Layout API
Named Axes:Layout 不一定产生线性地址
Swizzle 单独建模
TIRx 真正重要的地方,不在于语法
TIRx 与高性能GEMM (上)
从 GEMM 公式到数据路径
Step 1:单 tile GEMM,先把完整路径跑通
Step 2:加入 K-loop,真正的难点是 barrier phase
Step 3:空间 tiling,把单 CTA 扩展成二维 grid
Step 4:TMA 完成 GMEM 到 SMEM 的异步数据搬运
Step 5:多 stage pipeline 实现计算和数据搬运的重叠
Step 6:Persistent kernel 让 CTA 持续领取 tile
TIRx 与高性能GEMM (下)
step7: warp specialization 和流水线化
Step 8:两个 CTA 组成 cluster,扩大片上复用半径
Step 9:增加第二个 MMA consumer,让 B tile 被更多次使用
性能对比
总结
Flash Attention 4:在 Blackwell 上把 Softmax 接进 Tensor Core 流水线
Attention 的真实瓶颈:不是公式,而是中间矩阵
在线 Softmax 与 Conditional Rescaling
一个 K/V Block 的数据流
Warpgroup 分工:四个 WG 各管一段依赖链
Softmax、Correction 与 Barrier 的交接
Conditional Rescaling 为什么有效
Causal Attention 与 GQA:同一条数据路径上的两个特化
调度策略:non-causal 和 causal 的任务形状不同
当前实现与论文描述的差异
编译与验证约束
总结
Triton 高性能编程
Vector Add:从一个向量加法 kernel 看懂编程模型
Compute Kernel:一个 program 处理一个连续 block
为什么 mask 是必需的
Launch Wrapper:Python 张量如何进入 GPU kernel
Scope / Layout / Dispatch:用三个问题读这段代码
Benchmark
小结
Fused Softmax:看懂 Triton 的算子融合
Softmax 的数学式与内存流量
Compute Kernel:一个 program 处理若干行
Power-of-two padding:为什么尾部要填负无穷
Wrapper:从 shape 推导 launch 数量
Scope / Layout / Dispatch:和 Vector Add 相比发生了什么
Benchmark:用 GB/s 衡量融合后的内存效率
小结
Triton Matrix Multiplication:从 block 映射到 L2 友好的 GEMM
为什么要自己写 matmul
把 GEMM 拆成 program 级 tile
Pointer Arithmetic:二维坐标如何变成一组地址
Program ID 到输出 tile 的映射
L2 cache reuse:为什么 grouped ordering 能提速
Kernel 主体:load、dot、accumulate、store
Autotune:把 tile shape 变成可搜索参数
Wrapper、正确性和 FP8 特化
Benchmark:结果应该怎样读
Scope / Layout / Dispatch 总结
Low-Memory Dropout:用 seed 替代 mask 的随机算子设计
Dropout 的原理
Baseline:显式 mask 的数据路径
Seeded dropout:把随机性改写成可重放函数
为什么同一个 seed 能复现同一张 mask
边界条件:mask、dtype 和概率范围
从一维向量扩展到真实模型
Scope / Layout / Dispatch 总结
Layer Normalization:从行级归一化到反向并行归约
Forward kernel
Backward kenrel
Stage 2:把 partial buffer 归约成最终
\(dw/db\)
Autograd 封装
Benchmark:为什么大 N 时 Triton backward 开始超过 Torch
小结
Fused Attention:把 Softmax 从显存搬回片上
Online Softmax
Forward kernel:一个 program 处理一个 Q block
Causal mask:把 off-band 和 on-band 分开处理
TensorDescriptor、Autotune 与硬件分支
Forward epilogue:为什么要保存归一化状态
Backward:从 Delta 预处理到 dQ/dK/dV
Correctness:用 PyTorch 参考路径检查前向和反向
Benchmark:读结果时要先看形状和模式
Scope / Layout / Dispatch 总结
Extern Functions:在 Triton kernel 里调用 libdevice
为什么需要 external function
什么时候该用外部函数,什么时候不该用
Grouped GEMM:用固定 CTA 处理一组矩阵乘法
为什么 grouped GEMM 不是普通 batched GEMM
Autotune:把 tile shape 和虚拟 SM 数量一起搜索
TMA 变体:用 tensor descriptor 表达矩阵 tile
正确性与 benchmark
适用边界:静态调度简单,但不自动解决所有不均衡
完整实现参考:
Persistent Matmul:让 CTA 留在 SM 上连续处理 GEMM tile
Baseline:一个 program 计算一个输出 tile
Persistent 调度:grid 被压到 SM 数量
正确性和 Proton benchmark
Block Scaled Matmul:把 scale factor 放进低精度 Tensor Core 路径
Kernel 主体:descriptor load、dot_scaled、packed K offset
初始化逻辑:格式差异被压缩进少数几个参数
Reference path:正确性检查也要还原 scale 语义
完整实现
Triton GLUON
GLUON 简介
GLUON Tensor Layouts
Tensor 比 block 大时平铺,比 block 小时广播
memcpy 的 tile layout 开始参与执行
用 Nsight Systems 定位深度学习推理瓶颈
先分清三类工具的观察范围
采集前先把实验变得可比较
用 Nsight Systems 建立端到端时间线
从一条可复现命令开始
按依赖链读取时间线
把吞吐和延迟放回同一个口径
旧环境中的 nvprof 应该怎样读
把时间线症状映射到优化动作
一次完整的性能分析应该形成闭环
参考
GPU 高性能计算
Index
Edit on GitHub
Index