ブログ

開発の途中で考えたこと、うまく動かなかったコード、答えを確かめた方法、その後に変えたことを記録しています。

疑問から記録までの流れ
  1. 01
    疑問を言葉にする何が分からないかを書き出す
  2. 02
    コードで試す実装して問題を具体化する
  3. 03
    答えを確かめる感覚ではなくテストで確認する
  4. 04
    考えを残すなぜ変えたのかを記録する

プロジェクト別に見る

新しい内容が公開されたプロジェクトから順に並びます。短い開発メモも、一つのテーマを掘り下げた記事も、プロジェクトごとにまとめます。

02

進行中

Turing Complete で論理ゲートから CPU をつくる

Turing Complete のサンドボックスモードで掲げた三つの長期的な学習目標で、決まった予定ではありません。16 ビットの Hack コアから始め、32 ビットの RV32I と Armv6-M のコアへ進みます。どのコアにも明確な命令セットアーキテクチャ(ISA)があり、回路をどう組むかは設計しながら探ります。

  • Turing Complete
  • Hack
  • RV32I
  • Armv6-M
01

準備中

GPT-2 をゼロから実装する

テキストの tokenization から自己回帰学習までを実装し、問い、誤った仮説、検証の証拠を残す学習プロジェクトです。

  • Python
  • PyTorch
  • NumPy
  • GPT-2 reference implementation
03

準備中

LLM アプリケーションとエージェント

大規模言語モデルを使ったアプリケーション開発を、二つのトピックに分けて学びます。Harness はモデルの外側にあって、モデルがエージェントとしてタスクをこなせるようにする部分です。RAG は外部の資料をもとにモデルに答えさせる仕組みです。ノートはトピックごとにまとめ、それぞれ具体的な疑問から始めます。

  • Python
  • FAISS
  • pgvector
  • MCP
  • LangGraph
  • RAGAS