Build LLM from Scratch
目录
为什么需要 Build LLM from Scratch
LLM 入门基础知识
资源核算
Tensor 是所有状态的共同载体
低精度不是省内存这么简单
CPU 与 GPU：tensor 放在哪里决定了计算路径
Einops：给 tensor 维度命名，减少形状错误
FLOPs 与 FLOP/s：一个是工作量，一个是速度
Arithmetic intensity：判断 memory-bound 还是 compute-bound
反向传播的计算账：为什么是 6 * tokens * parameters
Optimizer state 与 activation memory：显存账本不能只算参数
Activation checkpointing：用更多计算换更少显存
BPE tokenizer
为什么需要 BPE？——传统分词的痛点
BPE 的核心原理（两阶段）
阶段 1️⃣：
构建词汇表（训练阶段）
阶段 2️⃣：
分词（推理阶段）
BPE 在 LLM 中的实际实现细节
常见变体与增强：
BPE 的优缺点
✅ 优点：
❌ 缺点：
BPE 实现
实现思路
BPE 编码和解码：训练时学到的顺序必须完整复用
Demo 实现：
工业级实现：
Transformer (decoder-only) 模型实现
现代 Transformer 架构与超参数的工程默认值
先确定 baseline：现代 Transformer 和原始 Transformer 差在哪里
RMSNorm 和无 bias：小操作为什么能影响 wall-clock time
FFN 的演化：SwiGLU 为什么不是“换个激活函数”这么简单
RoPE：把相对位置写进 attention 内积
超参数共识：默认值背后是预算分配
稳定性技巧：softmax 是最容易放大问题的地方
GQA / MQA：推理瓶颈为什么会从计算转向 KV cache
滑动窗口和混合注意力：用图结构控制长上下文成本
Embedding layer
FFN & PreNorm Layer
Pre-norm block：残差主干必须保持干净
RMSNorm
GLU 和 SwiGLU：FFN 的门控不是换激活函数这么简单
RoPE (Rotary Position Embedding)
把 head dimension 两两看成二维平面
相对位置来自旋转矩阵的群性质
二维展开后能直接看到 sin 和 cos
为什么要用一组频率
具体实现：rotate_half 只是矩阵乘法的向量化写法
为什么 RoPE 只作用在 query 和 key 上
Attention & Transformer
ScaledDotProductAttention
MultiHeadAttention
MultiHeadAttentionWithRoPE
TransformerBlock
Transformer
Optimize
Loss
Optimizer —— AdamW
Consine LR Scheduler
Gradient Clip
资源核算：矩阵乘法决定了大部分 FLOPs
Attention Alternatives 与 MoE
标准 attention 为什么贵
线性注意力的第一步推导：换一下乘法顺序
特征映射通常怎么设计
从线性注意力到 Mamba-2：递推状态需要会遗忘
为什么现代模型喜欢混合，而不是押注单一替代品
稀疏注意力：不是所有 token 都值得看
MoE ：增加总参数，但不增加每个 token 的计算量
Top-k routing：每个 token 自己选择专家
为什么 MoE 训练难：离散路由不可微，负载还不能失衡
系统侧的 MoE：计算少了，通信变成主角
MoE 的随机性：为什么别人的请求会影响我的输出
从 upcycling 到 DeepSeek MoE：把 dense 模型改造成 sparse 模型
MLA：继续压缩 KV cache，但要处理 RoPE 冲突
怎样选择 Attention alternatives 和 MoE
小结
大模型推理优化基础
性能优化的第一原则：先证明自己测到了真实工作
GPU 计时最容易犯的错：只量到 CPU 发射时间
冷启动不是稳态性能
“多快”与“为什么快”是两类测量
单 GPU 显存：先把“放不下”拆成几本账
残差流只是下界，注意力矩阵才可能是平方项
算子融合：减少的不只是 kernel 数量
激活检查点：用重算换取更短的张量生命周期
FlashAttention-2：注意力的瓶颈为什么首先是数据移动
在线 softmax：不同 tile 的归一化如何拼成同一个答案
反向传播：保存小状态，重算大矩阵
TTFT、TPOT 与吞吐
Prefill 与 Decode
Roofline 视角：瓶颈取决于每搬一个字节做多少计算
为什么 Prefill 容易吃满算力，Decode 却被内存拖住
MLP：batch 和 token 都能复用同一组权重
Attention：每条序列都必须读取自己的 KV cache
延迟与吞吐为什么天然冲突：Llama 2 13B 的理论账本
第一条路线：让 KV cache 更小
从 MHA 到 GQA / MQA：减少 KV head
MLA：缓存 latent，而不是完整 K/V
CLA、滑动窗口与稀疏注意力：继续压缩层和时间维
第二条路线：让每个字节更便宜
第三条路线：剪掉工作，再用蒸馏修复
Speculative Sampling：把慢生成改造成快验证
用二元词表看清为什么分布不变
真实流量不是矩形张量：Continuous Batching
PagedAttention：像操作系统一样管理 KV cache
小结
分布式训练/推理
从单卡到多卡：瓶颈从 HBM 扩展到互联
通信原语：rank、world size 和 collective operations
PyTorch distributed：代码里真正发生了什么
带宽怎么核算：看 duration 之前先看 bytes
数据并行：切 batch，复制模型
复制模型之后，真正要优化的是梯度同步
Ring all-reduce 的带宽账
DDP 模型训练示例
FSDP (Fully Sharded Data Parallel)
张量并行：切宽度，每层都要通信
核心问题：矩阵乘法该切输入，还是切输出
流水线并行：切深度，用 micro-batch 减少空泡
没有 micro-batch 时，空泡从哪里来
Micro-batching：用更多在途样本摊薄填充与排空
更多工程环节
Looping Pipeline：同一组设备为什么要让模型多走一圈
Expert parallel：MoE 的计算省了，all-to-all 变重
从路由结果到专家输出：一次 MoE 层到底发生了什么
为什么 top-k 和 EP degree 会直接放大通信
平均负载不够：capacity、dropless 与真正的长尾
为什么 Grouped GEMM 能救小专家，却救不了慢 rank
拓扑与 overlap：通信“被隐藏”不等于通信消失
训练、prefill 与 decode 是三种不同的 EP 性能问题
从症状反推瓶颈：一张 EP 排障表
3D/4D 并行：先让模型放得下，再让 GPU 吃得饱
训练数据准备
(opt) Data Parallel 多卡初始化
Checkpoint
Scaling Laws：用小实验预测大模型
Scaling law 到底在预测什么
为什么会出现幂律：从均值估计开始
数据不是只看数量：composition、重复和有限数据
从数据 scaling 到模型工程：小模型实验可以回答大模型问题
Critical batch size：batch 不是越大越好
学习率和参数化也要随 scale 调整
联合 scaling：数据和模型要一起优化
Chinchilla 和 IsoFLOPS：固定算力下找最优模型大小
Train-optimal 不等于产品最优
怎么把 scaling laws 用到训练决策里
模型输出采样
核心采样方法（按使用频率排序）
Temperature 调节（基础预处理，必用）
Top-p 采样（Nucleus Sampling）— 当前工业界首选
Top-k 采样
贪婪搜索（Greedy Search）
Beam Search（搜索算法，非采样）
实现
训练数据预处理
从在线服务到静态快照
常用数据源地图：不同来源携带不同结构与风险
从数据集演进看预处理方法
过滤：把“什么是好数据”变成可扩展的选择器
海量数据去重
数据混合：比例之外，还要计算每个来源会被看多少遍
合成推理数据
SWE 数据
数据处理pipeline
从互联网网页提取纯文本
识别目标语言
文本质量粗过滤
文本质量分类
有害数据检测
Mask PII
去重
模型评测
“好”不是一个标量，而是一组约束
困惑度
考试型 benchmark
开放回答
Agent 评测
纯推理与安全：评测对象会从能力扩展到边界条件
生态有效性：benchmark 像不像真实使用
有效性审计：分数是否真的来自你想测的能力
评测对象
小结
SFT-有监督微调
后训练流水线
SFT 的训练目标
指令数据如何演进
多维度评价
SFT 更擅长抽取已有能力，而不是可靠写入陌生事实
把 instruction tuning 前移：mid-training 的机会与代价
怎样判断一轮 SFT 是否真的成功
RLHF - 强化微调
从 imitation 到 optimization：为什么示范不足以表达偏好
偏好数据怎么采
人类反馈不是金标准
AI feedback 与 Constitutional AI
奖励模型：把成对偏好压缩成一个标量差
PPO-RLHF：最大化奖励，同时不让策略跑得太远
DPO：把 KL 正则化偏好优化改写成离线分类损失
现代后训练不是一次 DPO，而是数据与模型共同迭代
奖励过优化、长度黑客与多样性下降
小结：算法上限由反馈质量和评测合同共同决定
可验证奖励强化学习（RLVR）
从偏好奖励到可验证奖励
PPO 基线：两个旧策略不能混为一谈
GRPO：用同题多回答的相对成绩替代 critic
一个 G=4 的手算：归一化如何悄悄改写权重
DeepSeek-R1：纯 RL 实验与可用模型配方是两件事
Kimi k1.5：长上下文 RL 首先是采样与调度问题
Qwen3：3995 对 query–verifier 不等于“小计算量”
从答案验证器到 Agent 环境：奖励必须覆盖状态变化
落地 RLVR：把算法选择变成一套可审计实验
多模态大模型的编码、对齐与统一生成
多模态理解与多模态生成
CLIP：用双向对比学习建立视觉—语言坐标系
SigLIP：把全局 softmax 改成逐对二元判断
视觉 token 账本：分辨率如何变成计算量
LLaVA：一个 projector 如何让 LLM 开始“看图”
AnyRes：用局部切片换细节，再用 token 预算收口
从固定压缩到动态分辨率：Qwen-VL 的接口演进
MRoPE 与 DeepStack：不仅要有 token，还要保留结构
多模态训练不是简单拼接：谁在主导梯度
Chameleon：把图像也变成可生成的离散词表
统一自回归训练为何更容易不稳定
如何选择架构
本文涉及代码可参考
参考
Build LLM from Scratch
本文涉及代码可参考
Edit on GitHub
本文涉及代码可参考
https://github.com/fangpin/llm-from-scratch