GPU 高性能计算

目录

• 计算的硬件加速思路
  • 思路1: 缩短指令的执行时间
  • 思路2: 提升单位时间内指令的吞吐量
• 并行策略
  • 指令并行 ILP (Instuction Level Parallel)
  • 多核并行 Multiple core parallelism
  • Multi-threaded parallelism
• GPU 编程模型
  • GPU执行模型
  • GPU 内存模型
  • GPU 计算：Cuda Core VS Tensor Core
  • Cuda 编译原理
• Roofline Model —— 性能优化方向的理论指导
  • 核心公式：性能的物理边界
  • 关键概念：算术强度 (Operational Intensity)
  • 图像解读：斜率与平台
  • 实践分析
  • Roofline model的局限性
• 内存访问密集型高性能计算
  • GPU 的内存层次结构 (Memory Hierarchy)
  • 内存访问合并
  • Bank conflict
  • 内存访问密集型高性能实战
• 高级 cuda 特性 —— 从矩阵乘法(gemm)说起
  • 使用Roofline Model对矩阵乘法进行性能分析。
  • 显性的矩阵乘法性能分析
  • 矩阵乘法中的分块与数据复用
  • 利特尔法则与占用率控制
  • 调度优化
  • Tensor Cores
• GPU 上动态的调度 —— 从run-length-compression说起
  • 并行扫描问题
  • Run length compression
  • Run length decompression
• Cuda TMA （Tensor Memory Accelerator）
  • 基础介绍
  • Tensor descriptor：CUtensorMap
  • TMA 完成异步数据搬运
  • TMA 中使用 swizzling pattern
• TPU 与分布式通信原语
  • TPU 的硬件模型
  • TPU Pallas
  • TPU RDMA
  • reduce-scatter 与 all-gather
  • collective matmul：通信与计算重叠
• TIRx 基础
  • 为什么是 TIRx
  • 从一个最小 GEMM 开始，TIRx 在做什么
  • 理解 TIRx，关键是看三个决定
  • TIRx 真正重要的地方，不在于语法
• TIRx 与高性能GEMM (上)
  • 从 GEMM 公式到数据路径
  • Step 1：单 tile GEMM，先把完整路径跑通
  • Step 2：加入 K-loop，真正的难点是 barrier phase
  • Step 3：空间 tiling，把单 CTA 扩展成二维 grid
  • Step 4：TMA 完成 GMEM 到 SMEM 的异步数据搬运
  • Step 5：多 stage pipeline 实现计算和数据搬运的重叠
  • Step 6：Persistent kernel 让 CTA 持续领取 tile
• TIRx 与高性能GEMM (下)
  • step7: warp specialization 和流水线化
  • Step 8：两个 CTA 组成 cluster，扩大片上复用半径
  • Step 9：增加第二个 MMA consumer，让 B tile 被更多次使用
  • 性能对比
  • 总结
• Flash Attention 4：在 Blackwell 上把 Softmax 接进 Tensor Core 流水线
  • Attention 的真实瓶颈：不是公式，而是中间矩阵
  • 在线 Softmax 与 Conditional Rescaling
  • 一个 K/V Block 的数据流
  • Warpgroup 分工：四个 WG 各管一段依赖链
  • Softmax、Correction 与 Barrier 的交接
  • Conditional Rescaling 为什么有效
  • Causal Attention 与 GQA：同一条数据路径上的两个特化
  • 调度策略：non-causal 和 causal 的任务形状不同
  • 当前实现与论文描述的差异
  • 编译与验证约束
  • 总结
• Triton 高性能编程
  • Vector Add：从一个向量加法 kernel 看懂编程模型
  • Fused Softmax：看懂 Triton 的算子融合
  • Triton Matrix Multiplication：从 block 映射到 L2 友好的 GEMM
• 参考