项目 01

从零实现 GPT-2

从文本分词一路实现到自回归训练,并把过程中提出的问题、失败的假设和验证证据完整保留下来。

当前状态
进行中
开始时间
2026 年 9 月
计划使用
Python · PyTorch · NumPy · GPT-2 reference implementation

想弄明白什么

用 PyTorch 自己一步步写出 GPT-2,弄懂每个部分在做什么。写得对不对,靠加载 OpenAI 官方的 GPT-2 124M 权重,和参考实现比对输出来检验。训练只跑小模型,能跑通、loss 正常下降就行,不追求复现原版的训练结果。

开发计划

  1. 01
    进行中

    基础概念与 Tokenizer

    文本表示、byte-level BPE、词表以及可逆的编码与解码。

  2. 02
    计划中

    数据管线

    序列窗口、批处理、训练目标和可复现的数据加载。

  3. 03
    计划中

    Transformer 模型

    Embedding、因果注意力、MLP、归一化和残差路径。

  4. 04
    计划中

    训练与评估

    优化、Checkpoint、采样、评估和失败分析。

相关记录

项目推进后,我会把每个阶段遇到的问题、实现过程和验证结果补充在这里。

00

热身

已发布

阶段 0:Bigram 热身

从零写一个字符级 bigram 语言模型:字符编码、切分训练样本、查表打分、交叉熵、生成与训练循环,逐行讲解代码并整理学习中的问题

  • GPT-2
  • PyTorch
  • Bigram
阅读记录
01

Tokenizer · 前期准备

计划中

开始写 Tokenizer 之前:文本究竟如何变成 Token?

这是一篇预览记录,先分清项目里第一组容易混在一起的概念:Unicode 文本、UTF-8 字节、BPE 合并规则和模型最终收到的 Token ID 之间是什么关系。

  • GPT-2
  • Tokenizer
  • Byte-level BPE
阅读记录