Decoder-only Transformer • PyTorch • 从零实现

从零开始的 LLM

从分词器、训练、基准到微调,完整展示这个语言模型项目的核心实现。

RoPERMSNormSwiGLUFlash Attention 2DDPSFTRLFT
1.56% -> 62.9% gsm8k 零样本准确率
18.9% -> 100% 输出格式遵循率
Tokenizer / Training / Parallel / Kernel 实现覆盖范围