Tokenizer
从零实现的 BPE tokenizer，可从原始文本中学习 merge 规则和特殊 token。
实现结构
架构
从 tokenizer、transformer blocks 到训练、kernel 与分布式执行，整体说明这个项目是如何组成的。
Transformer Core
带有 RMSNorm、RoPE、SwiGLU、自定义 attention 与 loss 的 decoder-only blocks。
Training Loop
包含 checkpoint、validation、generation、cosine scheduler 与优化器工具。
Parallel + Kernel
自定义 DDP、sharded optimizer，以及 Triton Flash Attention 2 支持。
Data Pipeline
HTML 抽取、过滤、去重、PII masking 和质量筛选工具。