项目 03

大模型应用与 Agent

学习大模型应用开发,分两个主题:Harness 是模型之外、让模型能作为 agent 完成任务的那部分;RAG 让模型根据外部资料回答。笔记按主题整理,每篇从一个具体问题讲起。

当前状态
进行中
开始时间
2026 年 9 月
计划使用
Python · FAISS · pgvector · MCP · LangGraph · RAGAS

想弄明白什么

弄清楚 agent 和 RAG 的每个部分解决什么问题、底层怎么实现,关键部分自己写代码验证。

开发计划

  1. 01
    进行中

    Agent loop 与最简 RAG

    不用框架手写 agent loop,再把一个带引用的最简 RAG 接进去当工具。

  2. 02
    计划中

    向量检索内核

    IVF、PQ、HNSW 的原理和参数,用 FAISS 测召回率与速度,再手写一个简化版索引。

  3. 03
    计划中

    上下文工程与检索质量

    管理上下文预算与缓存;比较 BM25、向量检索、混合检索和重排的效果。

  4. 04
    计划中

    工具、MCP、Skills 与 Subagent

    写一个 MCP server、一个按需加载的 skill 和一个只读的 subagent。

  5. 05
    计划中

    Hooks、沙箱与权限

    用 hook 拦截危险操作,在沙箱里执行代码,按角色限制工具和 skills,按权限过滤检索结果。

  6. 06
    计划中

    记忆、持久执行、摄入与生成

    实现按用户隔离的记忆和可以恢复的执行;比较几种切块方式,并校验引用。

  7. 07
    计划中

    评估、观测与生产

    用 pass@k 和 pass^k 评估 agent,导出链路追踪,再把 RAG 做成多租户。

主题

笔记按主题分开整理,写好一篇就放到对应的主题下。

01

RAG

RAG:检索增强生成

让模型根据外部资料回答:摄入与索引、向量检索的原理、检索质量、生成、评估和生产环境。

0 篇记录查看笔记
02

Harness

Harness:让模型成为 agent 的部分

模型之外的全部部分:agent loop、上下文工程、工具与 MCP、skills、hooks、沙箱、权限、记忆、持久执行、评估与观测。

1 篇记录查看笔记

整体学习路线

Harness 和 RAG 两个主题合在一起的完整学习路径:按什么顺序学、每个知识点学到多深,以及常见问题和出处。

查看学习路线

相关记录

项目推进后,我会把每个阶段遇到的问题、实现过程和验证结果补充在这里。

01

Agent loop 与最简 RAG

已发布

手写一个 agent loop:最少需要哪些东西?

不用框架,在 Anthropic Messages API 上手写约 200 行的 agent loop:loop 什么时候停、工具失败或被拒绝时为什么要以 is_error 回给模型、一轮里的多个工具调用怎么执行。用 Claude Haiku 5.5 跑了 5 组实验,记录了 token 用量、模型怎样从错误中恢复,以及实验推翻的一处我原先写错的说法。

  • Agent loop
  • Tool use
  • Anthropic API
  • Python
阅读记录