プロジェクト 01

GPT-2 をゼロから実装する

テキストの tokenization から自己回帰学習までを実装し、問い、誤った仮説、検証の証拠を残す学習プロジェクトです。

状態
進行中
開始
2026 年 9 月
使用予定
Python · PyTorch · NumPy · GPT-2 reference implementation

知りたいこと

PyTorch で GPT-2 を自分で一つずつ書き、各部分が何をしているのかを理解します。正しく書けたかどうかは、OpenAI 公式の GPT-2 124M の重みを読み込み、参照実装と出力を比べて確かめます。学習は小さなモデルで十分で、動いて loss が下がれば良しとし、元の学習結果の再現は目指しません。

開発プラン

  1. 01
    進行中

    基礎と Tokenizer

    テキスト表現、byte-level BPE、語彙、可逆な encode/decode。

  2. 02
    予定

    データパイプライン

    系列ウィンドウ、バッチ、教師データ、再現可能なデータ読み込み。

  3. 03
    予定

    Transformer モデル

    Embedding、因果的 attention、MLP、正規化、残差経路。

  4. 04
    予定

    学習と評価

    最適化、checkpoint、sampling、評価、失敗分析。

関連する記録

プロジェクトが進んだら、各段階で生まれた疑問、実装の過程、検証結果をここに追加します。

00

ウォームアップ

公開済み

ステージ 0:Bigram ウォームアップ

文字単位の bigram 言語モデルをゼロから書きます。文字の符号化、学習サンプルの切り出し、表引きによるスコア付け、クロスエントロピー、生成、学習ループを扱い、コードを一行ずつ解説して、学ぶ中で出た疑問もまとめています。

  • GPT-2
  • PyTorch
  • Bigram
記録を読む
01

Tokenizer · 準備

計画中

Tokenizer を書く前に:テキストはどう Token になるのか

プロジェクトで最初に整理すべき概念、つまり Unicode テキスト、UTF-8 バイト、BPE マージ、モデルが受け取る Token ID の関係をまとめるプレビュー記録です。

  • GPT-2
  • Tokenizer
  • Byte-level BPE
記録を読む