公開済み
ステージ 0:Bigram ウォームアップ
文字単位の bigram 言語モデルをゼロから書きます。文字の符号化、学習サンプルの切り出し、表引きによるスコア付け、クロスエントロピー、生成、学習ループを扱い、コードを一行ずつ解説して、学ぶ中で出た疑問もまとめています。
- GPT-2
- PyTorch
- Bigram
プロジェクト 01
テキストの tokenization から自己回帰学習までを実装し、問い、誤った仮説、検証の証拠を残す学習プロジェクトです。
PyTorch で GPT-2 を自分で一つずつ書き、各部分が何をしているのかを理解します。正しく書けたかどうかは、OpenAI 公式の GPT-2 124M の重みを読み込み、参照実装と出力を比べて確かめます。学習は小さなモデルで十分で、動いて loss が下がれば良しとし、元の学習結果の再現は目指しません。
テキスト表現、byte-level BPE、語彙、可逆な encode/decode。
系列ウィンドウ、バッチ、教師データ、再現可能なデータ読み込み。
Embedding、因果的 attention、MLP、正規化、残差経路。
最適化、checkpoint、sampling、評価、失敗分析。
プロジェクトが進んだら、各段階で生まれた疑問、実装の過程、検証結果をここに追加します。
公開済み
文字単位の bigram 言語モデルをゼロから書きます。文字の符号化、学習サンプルの切り出し、表引きによるスコア付け、クロスエントロピー、生成、学習ループを扱い、コードを一行ずつ解説して、学ぶ中で出た疑問もまとめています。
計画中
プロジェクトで最初に整理すべき概念、つまり Unicode テキスト、UTF-8 バイト、BPE マージ、モデルが受け取る Token ID の関係をまとめるプレビュー記録です。