已发布
阶段 0:Bigram 热身
从零写一个字符级 bigram 语言模型:字符编码、切分训练样本、查表打分、交叉熵、生成与训练循环,逐行讲解代码并整理学习中的问题
- GPT-2
- PyTorch
- Bigram
项目 01
从文本分词一路实现到自回归训练,并把过程中提出的问题、失败的假设和验证证据完整保留下来。
用 PyTorch 自己一步步写出 GPT-2,弄懂每个部分在做什么。写得对不对,靠加载 OpenAI 官方的 GPT-2 124M 权重,和参考实现比对输出来检验。训练只跑小模型,能跑通、loss 正常下降就行,不追求复现原版的训练结果。
文本表示、byte-level BPE、词表以及可逆的编码与解码。
序列窗口、批处理、训练目标和可复现的数据加载。
Embedding、因果注意力、MLP、归一化和残差路径。
优化、Checkpoint、采样、评估和失败分析。
项目推进后,我会把每个阶段遇到的问题、实现过程和验证结果补充在这里。