LLM from Scratch
架构
SFT 与 RLFT
基准
文档
EN
GitHub
训练与性能
基准
用训练曲线和实现说明把这个项目落到可观测的性能与训练行为上。
Flash Attention 2
包含 Triton kernel 路径
Loss Curve
TinyStories 训练收敛过程
LR Schedule
Cosine warmup 与 decay