GPU 高性能计算
目录
- 计算的硬件加速思路
- 并行策略
- GPU 编程模型
- Roofline Model —— 性能优化方向的理论指导
- 内存访问密集型高性能计算
- 高级 cuda 特性 —— 从矩阵乘法(gemm)说起
- GPU 上动态的调度 —— 从run-length-compression说起
- Cuda TMA (Tensor Memory Accelerator)
- TPU 与分布式通信原语
- TIRx 基础
- TIRx 与高性能GEMM (上)
- TIRx 与高性能GEMM (下)
- Flash Attention 4:在 Blackwell 上把 Softmax 接进 Tensor Core 流水线
- Triton 高性能编程
- Vector Add:从一个向量加法 kernel 看懂编程模型
- Fused Softmax:看懂 Triton 的算子融合
- Triton Matrix Multiplication:从 block 映射到 L2 友好的 GEMM
- Low-Memory Dropout:用 seed 替代 mask 的随机算子设计
- Layer Normalization:从行级归一化到反向并行归约
- Fused Attention:把 Softmax 从显存搬回片上
- Extern Functions:在 Triton kernel 里调用 libdevice
- Grouped GEMM:用固定 CTA 处理一组矩阵乘法
- Persistent Matmul:让 CTA 留在 SM 上连续处理 GEMM tile
- Block Scaled Matmul:把 scale factor 放进低精度 Tensor Core 路径
- Triton GLUON
- 用 Nsight Systems 定位深度学习推理瓶颈
- 参考