从分词器、训练、基准到微调,完整展示这个语言模型项目的核心实现。
Tokenizer、Transformer blocks、训练循环、Kernel 与分布式训练。
Qwen2.5-Math-1.5B 在 gsm8k 上的微调与强化学习结果。
Loss 曲线、学习率调度和性能说明。
按模块组织的 Markdown 章节,覆盖 tokenizer、训练、分布式、数据与对齐实现。