RAG
RAG:検索拡張生成
外部の資料をもとにモデルに答えさせる仕組みです。取り込みとインデックス作成、ベクトル検索の仕組み、検索品質、生成、評価、本番運用を扱います。
プロジェクト 03
大規模言語モデルを使ったアプリケーション開発を、二つのトピックに分けて学びます。Harness はモデルの外側にあって、モデルがエージェントとしてタスクをこなせるようにする部分です。RAG は外部の資料をもとにモデルに答えさせる仕組みです。ノートはトピックごとにまとめ、それぞれ具体的な疑問から始めます。
このプロジェクトはまだ始まっていません。現在は計画と、今後の記録に使う構成を表示しています。
エージェントと RAG の各部分が何を解決し、内部でどう動いているのかを理解し、重要な部分は自分でコードを書いて確かめます。
フレームワークを使わずにエージェントループを書き、引用付きの最小構成の RAG をツールとして組み込みます。
IVF、PQ、HNSW の仕組みとパラメータを学び、FAISS で再現率と速度を測り、簡略版のインデックスを自作します。
コンテキストの予算とキャッシュを管理し、BM25、ベクトル検索、ハイブリッド検索、リランクを比較します。
MCP サーバー、必要なときに読み込まれる skill、読み取り専用のサブエージェントを作ります。
フックで危険な操作を止め、サンドボックスでコードを実行し、ロールごとにツールと skills を制限し、権限に応じて検索結果を絞ります。
ユーザーごとに分けた記憶と再開できる実行を作り、チャンク分割の方法を比べ、引用を検証します。
pass@k と pass^k でエージェントを評価し、トレースを出力し、RAG をマルチテナントにします。
ノートはトピックごとに整理し、書いたものは該当するトピックの下に置きます。
Harness と RAG の二つのトピックをまとめた学習の道筋です。学ぶ順番、各項目をどこまで深く理解するか、よくある質問と出典を載せています。
ロードマップを読むプロジェクトが進んだら、各段階で生まれた疑問、実装の過程、検証結果をここに追加します。