Build LLM from Scratch

本文涉及代码可参考：Github

目录

• 为什么需要 Build LLM from Scratch
• LLM 入门基础知识
  • 资源核算
  • Tensor 是所有状态的共同载体
  • 低精度不是省内存这么简单
  • CPU 与 GPU：tensor 放在哪里决定了计算路径
  • Einops：给 tensor 维度命名，减少形状错误
  • FLOPs 与 FLOP/s：一个是工作量，一个是速度
  • Arithmetic intensity：判断 memory-bound 还是 compute-bound
  • 反向传播的计算账：为什么是 6 * tokens * parameters
  • Optimizer state 与 activation memory：显存账本不能只算参数
  • Activation checkpointing：用更多计算换更少显存
• BPE tokenizer
  • 为什么需要 BPE？——传统分词的痛点
  • BPE 的核心原理（两阶段）
  • BPE 在 LLM 中的实际实现细节
  • BPE 的优缺点
  • BPE 实现
• Transformer (decoder-only) 模型实现
  • 现代 Transformer 架构与超参数的工程默认值
  • Embedding layer
  • FFN & PreNorm Layer
  • RoPE (Rotary Position Embedding)
  • Attention & Transformer
  • Optimize
  • 资源核算：矩阵乘法决定了大部分 FLOPs
• Attention Alternatives 与 MoE
  • 标准 attention 为什么贵
  • 线性注意力的第一步推导：换一下乘法顺序
  • 稀疏注意力：不是所有 token 都值得看
  • MoE ：增加总参数，但不增加每个 token 的计算量
  • MLA：继续压缩 KV cache，但要处理 RoPE 冲突
  • 怎样选择 Attention alternatives 和 MoE
  • 小结
• 大模型推理优化基础
  • 性能优化的第一原则：先证明自己测到了真实工作
  • 单 GPU 显存：先把“放不下”拆成几本账
  • FlashAttention-2：注意力的瓶颈为什么首先是数据移动
  • TTFT、TPOT 与吞吐
  • Prefill 与 Decode
  • Roofline 视角：瓶颈取决于每搬一个字节做多少计算
  • 为什么 Prefill 容易吃满算力，Decode 却被内存拖住
  • 延迟与吞吐为什么天然冲突：Llama 2 13B 的理论账本
  • 第一条路线：让 KV cache 更小
  • 第二条路线：让每个字节更便宜
  • 第三条路线：剪掉工作，再用蒸馏修复
  • Speculative Sampling：把慢生成改造成快验证
  • 真实流量不是矩形张量：Continuous Batching
  • PagedAttention：像操作系统一样管理 KV cache
  • 小结
• 分布式训练/推理
  • 从单卡到多卡：瓶颈从 HBM 扩展到互联
  • 通信原语：rank、world size 和 collective operations
  • 数据并行：切 batch，复制模型
  • 张量并行：切宽度，每层都要通信
  • 流水线并行：切深度，用 micro-batch 减少空泡
  • Expert parallel：MoE 的计算省了，all-to-all 变重
  • 3D/4D 并行：先让模型放得下，再让 GPU 吃得饱
  • 训练数据准备
  • (opt) Data Parallel 多卡初始化
  • Checkpoint
• Scaling Laws：用小实验预测大模型
  • Scaling law 到底在预测什么
  • 为什么会出现幂律：从均值估计开始
  • 数据不是只看数量：composition、重复和有限数据
  • 从数据 scaling 到模型工程：小模型实验可以回答大模型问题
  • Critical batch size：batch 不是越大越好
  • 学习率和参数化也要随 scale 调整
  • 联合 scaling：数据和模型要一起优化
  • Chinchilla 和 IsoFLOPS：固定算力下找最优模型大小
  • Train-optimal 不等于产品最优
  • 怎么把 scaling laws 用到训练决策里
• 模型输出采样
  • 核心采样方法（按使用频率排序）
  • 实现
• 训练数据预处理
  • 从在线服务到静态快照
  • 从数据集演进看预处理方法
  • 过滤：把“什么是好数据”变成可扩展的选择器
  • 海量数据去重
  • 数据混合：比例之外，还要计算每个来源会被看多少遍
  • 合成推理数据
  • SWE 数据
  • 数据处理pipeline
• 模型评测
  • “好”不是一个标量，而是一组约束
  • 困惑度
  • 考试型 benchmark
  • 开放回答
  • Agent 评测
  • 纯推理与安全：评测对象会从能力扩展到边界条件
  • 生态有效性：benchmark 像不像真实使用
  • 有效性审计：分数是否真的来自你想测的能力
  • 评测对象
  • 小结
• SFT-有监督微调
  • 后训练流水线
  • SFT 的训练目标
  • 指令数据如何演进
  • 多维度评价
  • SFT 更擅长抽取已有能力，而不是可靠写入陌生事实
  • 把 instruction tuning 前移：mid-training 的机会与代价
  • 怎样判断一轮 SFT 是否真的成功
• RLHF - 强化微调
  • 从 imitation 到 optimization：为什么示范不足以表达偏好
  • 偏好数据怎么采
  • 人类反馈不是金标准
  • AI feedback 与 Constitutional AI
  • 奖励模型：把成对偏好压缩成一个标量差
  • PPO-RLHF：最大化奖励，同时不让策略跑得太远
  • DPO：把 KL 正则化偏好优化改写成离线分类损失
  • 现代后训练不是一次 DPO，而是数据与模型共同迭代
  • 奖励过优化、长度黑客与多样性下降
  • 小结：算法上限由反馈质量和评测合同共同决定
• 可验证奖励强化学习（RLVR）
  • 从偏好奖励到可验证奖励
  • PPO 基线：两个旧策略不能混为一谈
  • GRPO：用同题多回答的相对成绩替代 critic
  • DeepSeek-R1：纯 RL 实验与可用模型配方是两件事
  • Kimi k1.5：长上下文 RL 首先是采样与调度问题
  • Qwen3：3995 对 query–verifier 不等于“小计算量”
  • 从答案验证器到 Agent 环境：奖励必须覆盖状态变化
  • 落地 RLVR：把算法选择变成一套可审计实验
• 多模态大模型的编码、对齐与统一生成
  • 多模态理解与多模态生成
  • CLIP：用双向对比学习建立视觉—语言坐标系
  • SigLIP：把全局 softmax 改成逐对二元判断
  • 视觉 token 账本：分辨率如何变成计算量
  • LLaVA：一个 projector 如何让 LLM 开始“看图”
  • AnyRes：用局部切片换细节，再用 token 预算收口
  • 从固定压缩到动态分辨率：Qwen-VL 的接口演进
  • MRoPE 与 DeepStack：不仅要有 token，还要保留结构
  • 多模态训练不是简单拼接：谁在主导梯度
  • Chameleon：把图像也变成可生成的离散词表
  • 统一自回归训练为何更容易不稳定
  • 如何选择架构
• 本文涉及代码可参考
• 参考