智能体到底是什么?
通过区分模型调用、固定工作流、自适应控制、状态、动作、观察与运行时权限,构建“AI 智能体”的最小可用定义,然后从第一性原理实现一个最小的反馈循环。
这本书讲的是在模型周围构建系统。在构建规划器、记忆、工具路由、批评者、搜索 和验证器之前,我们需要先回答一个问题——事实证明它比看起来更难:
智能体是什么?
这个词如今几乎被用在一切东西上:一次 LLM 调用、一个聊天机器人、一条固定流水
线、一个使用工具的循环,以及任何五个类名以 Agent 结尾的模型调用。这些系统可
能都有用。但当同一个词覆盖了所有这些,它就不再告诉我们关于计算的任何信息,我们
也失去了说清"究竟是哪个机制在干活"的能力。
所以本章构建一套最小的区分,它们要经得起与真实系统接触的考验。我们会走六步,每 一步都添加上一步缺少的一个性质:一次模型调用、一个固定工作流、被用作控制的模型 输出、一个改变环境的动作、一个作为观察返回的结果,最后是一个改变下一次决定的观 察。
最后一步才是关键,它给了我们全书赖以立足的那句话:
一次模型调用产出一个输出。智能体是一个运行时,在其中状态和观察能够改变下一 步选择什么动作。
1. 从一个模型调用开始
最小的 LLM 程序根本没有架构:
answer = llm("Explain gradient descent")
print(answer)
程序提供输入,模型返回输出,程序结束。对于很多任务来说这恰恰是正确的形状。改写 一个段落、总结一份文档、分类一条消息、提取字段、翻译文本——对于这些,一次模型调 用比任何带循环的东西都更便宜、更快、更易测试。
把那个程序叫成智能体,丝毫不会增进我们对它的理解。它是一次模型调用。
这个区分值得尽早占位,因为智能体工程中最常见的失败之一是架构性的而非技术性的: 给一个根本不需要的任务加上运行时、记忆、工具和循环。所以我们会把一条规则从这一 页带着走到最后一页。
除非一个机制能解决一个你能指认的失败,否则不要添加它。
2. 软件结构不是智能体控制
把那次调用包进一个类,局面的改变比看起来要小:
class Assistant:
def __init__(self, model):
self.model = model
def run(self, task):
prompt = f"Solve this task:\n\n{task}"
return self.model(prompt)
我们得到了真实的软件结构——配置、提示词构造、模型客户端、日志、重试、缓存、遥
测。但其中没有任何一项触及控制流,它仍然沿着一条在执行开始前就已确定的路线,从
任务到提示词到模型再到答案。把类命名为 Assistant、Worker 或 Agent,不会改变
计算本身。
现在把它放大。考虑一个系统,有五次不同的模型调用和五个不同的提示词:
research = researcher(task)
plan = planner(task, research)
draft = writer(task, plan)
review = critic(draft)
final = reviser(draft, review)
这些类很可能被叫做 ResearchAgent、PlannerAgent、WriterAgent、CriticAgent
和 RevisionAgent。某些框架会把这样的系统描述成多智能体系统。从结构上看,它是
一条链:
flowchart LR
R[研究] --> P[规划] --> W[撰写] --> C[评审] --> V[修订]
程序员在执行开始之前就指定了那张控制图。工作流仍然可以包含分支、重试和条件,而 且这些分支可以依赖于执行期间收集到的观察。使它成为工作流的是:转移结构本身是预先 枚举出来的——程序已经定义了存在哪些分支,以及每个分支在什么条件下变得可达。
这不是批评。工作流常常是更好的设计,因为它更容易复现、测试、做预算、保证安全和 推理。把软件弄得更不确定并没有奖励。
所以与其争论标签,不如问一个更有用的问题:
谁来决定接下来发生什么?
如果程序沿着一条可能路线都预先定好的转移逻辑前进,我们得到的就是一个工作流。如 果一个运行时策略评估当前状态和观察,在可用的动作之间做选择,而程序员并没有枚举 贯穿任务的完整路线,那么某种真正不同的东西就被引入了。
3. 控制是分界线
假设模型返回单个 token SEARCH,程序这样使用它:
if decision == "SEARCH":
observation = search_web(query)
else:
observation = None
模型输出不再注定是要交给用户的答案。它是一个控制信号,程序把通常融在一起的 三样东西分开了:决定做什么、表示那个决定,以及执行它。
智能体式控制从这里开始。但单个控制决定还不构成一个智能体循环,因为还没有任何东 西回来。缺的那味料是反馈。
4. 最小的有用循环
加上反馈,整个结构塌缩成三行:
while not done:
action = decide(state)
observation = execute(action)
state = update_state(state, action, observation)
flowchart TD
S[状态] --> D[决策]
D -->|动作| E[执行]
E --> V[环境]
V -->|观察| U[更新状态]
U --> S
那张图中的循环即是全部要点。穿越系统的路线如今取决于运行开始时还不存在的结果, 这给了我们本书的工作定义:
智能体是一个有状态的系统:它选择动作,针对环境执行它们,观察结果,并用这些 观察影响后续的决定。
这个定义刻意狭窄,刻意不炫酷。它不谈意识,不要求 LLM,不假定期长期记忆,不授予 不受限制的自主性。它要求的只有一样东西:一个反馈循环,其中观察能够改变未来的动 作选择。
这一切都不是新的。智能体—环境循环远早于 LLM 智能体,强化学习教材对智能体、动 作、环境和由此产生的经验使用同样的分离。[1] ReAct 及其后继所做的是,把一个语言 模型放进那个更早的交互结构里,让模型推理与动作、以及动作返回的观察交错出现。[2]
5. 三样东西,精确命名
我们现在有足够的信息来精确处理这个分类,这会省掉日后大量的争论。
| 控制策略 | 观察的角色 | 形状 | |
|---|---|---|---|
| 模型调用 | 无 | 无执行反馈 | input → model → output |
| 工作流 | 预定义的转移逻辑 | 可在程序员定义的分支之间选择 | A → B → C,分支预先定义 |
| 智能体 | 依赖状态的动作选择 | 观察更新状态并影响后续动作选择 | state → action → observation → state |
真实系统把三者组合在一起,通常也应该如此:固定的预处理,然后一个智能体循环,然 后固定的验证。这种混合形状足够常见,为它究竟"算不算"智能体而争论是白费力气。分 类是定位"自适应控制住在哪里"的工具,不是一个要捍卫的类目。
6. 环境就是任何能应答的东西
环境(environment)听起来比实际更玄。对机器人来说它可能是物理世界;对其他一切 而言,它就是系统能对其行动、并从中接收信息的那些东西的集合。
| 智能体类型 | 环境 |
|---|---|
| 编码 | 文件系统、Git 仓库、编译器、单元测试、终端、CI |
| 研究 | 搜索引擎、网页、论文、数据库、笔记 |
| 浏览器 | DOM、当前 URL、表单、按钮、服务器响应 |
| 写作 | 文档、大纲、源材料、风格规则、修订历史 |
它们的共同点不是物理性。而是智能体能从它们获取信息、对它们行动,或两者兼有—— 这意味着系统可以在执行期间接收新的证据。
那才是让循环值得构建的性质。哪里不会到达有意义的新信息,循环就无从学起,只是一 种反复调用模型的昂贵方式。
7. 构建我们能构建的最小智能体
这里有一个刻意迷你的智能体,动作空间恰好只有两个动作:CALCULATE 和 FINAL。
下面的代码是控制循环的教学性草图。配套仓库中可运行的实现使用同样的结构,带类型 化的动作、观察和显式的转移记录。它的接受边界刻意接受已经类型化的动作,好让本章 单独隔离一个问题:一次观察能改变下一个动作吗? 下一章会把那些类型化动作换成 不受信任的提案——它们必须穿越一道真正的边界。
先定义状态,因为其他一切都是相对于它定义的:
from dataclasses import dataclass, field
@dataclass
class AgentState:
task: str
history: list[dict] = field(default_factory=list)
done: bool = False
final_answer: str | None = None
@dataclass
class Action:
name: str
argument: str
模型提出下一个动作:
def decide(model, state: AgentState) -> Action:
prompt = f"""
Task:
{state.task}
History:
{state.history}
Choose exactly one action:
CALCULATE <expression>
FINAL <answer>
"""
output = model(prompt).strip()
name, argument = output.split(" ", 1)
return Action(name=name, argument=argument)
运行时执行它:
def execute(action: Action):
if action.name == "CALCULATE":
return {"type": "calculation", "value": safe_calculate(action.argument)}
if action.name == "FINAL":
return {"type": "final", "value": action.argument}
return {"type": "error", "value": f"Unknown action: {action.name}"}
循环把两者闭合起来:
def run_agent(model, task, max_steps=5):
state = AgentState(task=task)
for step in range(max_steps):
action = decide(model, state)
observation = execute(action)
state.history.append({
"step": step,
"action": action,
"observation": observation,
})
if observation["type"] == "final":
state.done = True
state.final_answer = observation["value"]
break
return state
模型没有变。变的是它周围的计算,而这正是智能体工程的核心动作。
本章的配套实验把这个因果主张变成可测的而非修辞的。它的第一个动作是
RUN_TESTS。如果返回的观察是失败,下一个动作就变成 READ_FILE;如果测试通过,
智能体则停止。测试直接断言这两条轨迹,所以一次观察可证明地改变了同一个策略接下
来所做的事。
8. 最重要的边界:提案不是执行
上面的代码太过轻信。模型返回 CALCULATE 19 * 23,运行时照办——但同一个模型同样
可能返回 DELETE_DATABASE production、格式错误的文本,或一个并不存在的工具名。
那个循环里没有任何东西区分合理的提案和灾难性的提案。
我们真正想要的架构在两者之间插入一个决定点:
flowchart LR
M[模型] -->|提案的动作| R
subgraph R[运行时]
direction TB
P[解析] --> V[校验] --> A[授权]
end
R -->|被接受的动作| X[执行器]
X --> E[环境]
E -->|观察| M
模型提出。运行时决定什么被允许变成真实。环境返回关于发生了什么的观察。这种分离 承重到足以写下来作为一条规则:
模型负责提出。运行时决定什么可以执行。环境提供关于发生了什么的观察。
关于使用工具的模型的研究从另一侧接近同样的分离。Toolformer 研究模型学习何时调用 外部 API、调用哪一个、以及如何使用结果。[3] 我们的工程贡献是把那些概率性的决定 裹进一个确定性的边界——这正是下一章要构建的东西。
9. 状态是运行时的显式工作模型
循环需要从一步活到下一步的信息。那就是状态:
state = {
"task": task,
"step": 3,
"last_action": "run_tests",
"last_observation": "2 tests failed",
"files_changed": ["src/parser.py"],
}
这与要求模型从一段对话记录里重建处境是两回事。如果某样东西重要到足以控制执行, 就显式地表示它,而不是指望它在摘要之后幸存。
现在值得画出记忆一章后面要用到的一条线。状态是运行时对"什么已经确立、什么正 在支配这次执行"的当前显式表示;记忆是可被选出的过往信息,可能被检索出来影响 后来的决定。两个词本身都不等于真相。状态可能不完整或过时,记忆可能不相关、过时或 错误。这就是为什么当前观察和后来的验证仍然必要。在之前的任务里学到的教训属于记 忆。把两者混同会造成真实的 bug,因为它们有不同的权威、生命周期和失败模式。
现在看看状态一旦积累起来,轨迹是什么样子:
| 步骤 | 动作 | 观察 |
|---|---|---|
| 1 | RUN_TESTS |
test_parse_date 失败 |
| 2 | READ_FILE |
parser.py 包含 parse_date() |
| 3 | EDIT_FILE |
parser.py 已更改 |
| 4 | RUN_TESTS |
所有测试通过 |
每条观察都改变接下来应该合理地发生什么。没有状态,系统只能问我该做什么? 有了 轨迹,它就能问有用得多的问题:鉴于已经发生的一切,我现在该做什么?
这就是为什么存储对话记录不是重点。我们要的性质是历史依赖性——过往事件之所以 重要,是因为它们改变了当前状态、可用动作、信心、进度或停止条件。
10. 失败一旦成为观察就有用
假设智能体尝试 READ_FILE config.yaml,环境返回:
{ "ok": false, "error": "FileNotFoundError" }
在一次性调用里,故事到此结束:答案错了,程序跑完。在循环里,它是新信息。后面的策
略可以选择 LIST_DIRECTORY,发现 config/settings.yaml,然后恢复过来。
当交互在执行期间产生或揭示出本应改变后续决定的信息时,循环才配得上它的复杂度。
11. 策略不必是一个模型
decide() 函数就是策略——从状态到动作的映射。LLM 是它的一种实现。下面这个也
是:
def decide(state):
if state["tests_failed"] > 0:
return Action("INSPECT_FAILURE", "")
if not state["tests_run"]:
return Action("RUN_TESTS", "")
return Action("FINAL", "done")
规则、分类器、小型神经模型、前沿 LLM、搜索算法,以及它们的若干混合,也都是。这意
味着我们想要的分解不是 agent = LLM + prompt。它是一个运行时,加状态,加策略,加
动作空间,加环境反馈——而策略只是五个组件中一个可替换的组件。
这样看立刻提示一种经济性。当状态说阶段是 verification 且唯一合法的动作是
RUN_TESTS 时,没有什么需要大模型来决定的。程序已经知道:
if state["phase"] == "verification":
return Action("RUN_TESTS", {})
模型判断应该留给真正存在歧义的决定,这给了我们第二条规则:
仅仅因为模型能做一个决定,就把它委托给模型——不要这样。
最强的系统倾向于在两种模式之间交替,而不是绑定其中一种:
flowchart TD
A[校验输入] --> B[选择调查动作]
B --> C[执行工具]
C --> D[校验观察]
D --> E[选择下一步调查]
E --> F[运行最终检查]
classDef det fill:#e8e8e8,stroke:#666,color:#000
classDef ada fill:#fff3cd,stroke:#b8860b,color:#000
class A,C,D,F det
class B,E ada
灰步是确定性的;琥珀步是自适应的。能动性不是模型控制最大化,而是把自适应控制放在 自适应控制真正有用的地方。
12. 动作空间是实际的能力
一个模型也许能讨论上千种任务。但智能体只能通过运行时暴露的动作改变它的环境。因 此动作空间为"系统被允许尝试什么"设定了上限;策略决定它使用这个能力的效率:
ACTIONS = {
"SEARCH": search,
"READ_FILE": read_file,
"PROPOSE_PATCH": propose_patch,
"RUN_TEST": run_test,
"FINAL": finish,
}
把单个 RUN_SHELL(anything) 与 READ_FILE(path)、PROPOSE_PATCH(diff) 和
RUN_TEST(test_name) 相比。前者宽泛且语义粗糙。它仍然可以被记录和沙箱化,但它给
运行时的校验、授权和审计提供的表面不够精确。较窄的界面让每一个意图中的能力显式
化。它约束了可以被尝试的东西,换来的是每一次尝试更容易校验、授权、审计和推理。
这种权衡是双向的,上面没有免费的位置。更宽的动作空间以可控性为代价买灵活性;更 窄的以灵活性为代价买可控性。目标不是最大的自主性,而是仍然能解决任务的最小的动 作空间。
13. 循环何时配得上它的成本
这个条件很窄,值得记住:
当执行产生新观察或状态改变,而它们本应影响未来动作时,使用智能体循环。
这个性质在比看起来更多的任务里是真实的。调试产生一条实际的失败消息,决定下一步 检查什么。研究让证据浮现,揭示还缺什么。仓库工作产生校验失败,让下一次编辑转向。 调查收集结果,修正假设,因而修正下一个实验。每种情形里任务都在展开,而展开带着信 息。
逆条件同样重要:
| 情形 | 使用 |
|---|---|
| 任务自包含 | 一次模型调用 |
| 步骤已知 | 固定工作流 |
| 规则已知 | 确定性代码 |
如果每个作业都真的沿着转录 → 提取实体 → 总结 → 格式化报告这条路线,那就把这条 路线硬编码。智能体只会增加更多可能的轨迹,而不增加能力。
底层的权衡值得说透,因为人们容易把自主性讲得像免费智能。更多自主性意味着更多可能 的轨迹,意味着更多灵活性——同时意味着更多失败模式、更难复现、更易变的成本。自主 性是一张附着账单的建筑选择。
14. 书的其余部分添加什么
我们现在有了原语。其余每一章只给它增加一个机制,而每一个的引入都是因为前一个配 置以一种可指认的方式失败。
| 章 | 机制 | 它回答的问题 |
|---|---|---|
| 1 | 控制 | 是什么让一条路线自适应? |
| 2 | 合法动作 | 如何把模型输出变成受约束的提案? |
| 3 | 候选方案 | 如何生成若干候选并在其中选择? |
| 4 | 修订 | 如何诊断缺陷、修订,并决定是否保留这个改动? |
| 5 | 规划 | 如何把打算做的工作与执行分开表示? |
| 6 | 进度 | 如何追踪状态变化、预算和停止条件? |
| 7 | 工具 | 如何设计动作空间并路由到正确的能力? |
| 8 | 记忆 | 如何让相关的过往信息影响未来决定? |
| 9 | 搜索 | 如何让不止一条部分轨迹保持存活? |
| 10 | 证据 | 如何在模型之外验证成功? |
| 11 | 集成 | 这些机制真的能组合成一个可运行的系统吗? |
作为一次单一的建造来读,这条弧线从控制出发,经过合法动作、候选方案、修订、规 划、进度、能力、记忆、搜索和证据,到达集成。
到最后一章,智能体会能干得多,而它中心的模型可能正是我们出发时那个一模一样的模 型。改变了的会是它周围的系统计算。
15. 全书的工程规则
一条规则贯穿每一章:
尽可能把正确性从概率性的模型行为中移出,移入显式、可检视的软件。
这不是把模型拿掉的论据。模型恰恰在固定规则难以枚举之处有价值:解读杂乱的观察、 生成候选动作、比较候选方案、形成假设、提出计划。这些真的难以预先说明,假装不然 只会产生脆弱的系统。
这条规则关乎一个决定接近真实副作用时发生什么。在那一刻,周围的软件应该变得越来越 具体——模型提出,运行时校验,执行器行动,环境改变,运行时观察,验证器检查。每个 阶段给计算的另一部分一个显式的主人、表示和边界,可以独立于模型的推理被检视。
这种分解并不古怪。LLM 智能体文献不断抵达同样反复出现的组件——规划、记忆、动作与 工具使用、环境交互——即使个别论文和框架对它们使用互不相容的术语。[4] 我们的目标 不是复刻任何某一个框架,而是理解为什么这些特定部件不断重现。
16. 最后一个测试
假设一个陌生系统被描述成"AI 智能体"。不要先问它用哪个框架。而是问:
- 状态是什么?
- 模型实际上决定什么?
- 它能提出什么动作?
- 什么软件校验那些提案?
- 什么真正执行它们?
- 环境中什么可以改变?
- 返回什么观察?
- 那次观察如何改变下一个决定?
- 什么让循环停下?
- 什么证据证明目标已达成?
回答这十个问题,智能体这个词就不再神秘,因为你能看见它底下的机器。这些问题合 在一起,对应全书展开的建造:控制、动作边界、候选方案、修订、规划、进度、能力、 记忆、搜索、验证,最后是集成。这张清单是全书架构改写成的诊断书。
研究渊源
本书是一次工程重建而非文献综述,但我们构建的想法有清楚的学术渊源。参考文献刻意 有选择性——它们标记的是一个机制在哪里连接到既有工作,而不是每一个本可以挂上引 文的段落。
- Richard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction, 2nd ed., MIT Press, 2018. 智能体—环境交互循环为动作、观察、状态和自适应决策提供了一套更早的正式词汇。https://www.incompleteideas.net/book/bookdraft2018mar21.pdf
- Shunyu Yao et al., “ReAct: Synergizing Reasoning and Acting in Language Models,” ICLR 2023. ReAct 显式地把模型推理、环境动作和返回的观察交错在一起。https://arxiv.org/abs/2210.03629
- Timo Schick et al., “Toolformer: Language Models Can Teach Themselves to Use Tools,” NeurIPS 2023. Toolformer 研究语言模型学习何时以及如何调用外部 API 并使用其结果。https://arxiv.org/abs/2302.04761
- Lei Wang et al., “A Survey on Large Language Model based Autonomous Agents,” Frontiers of Computer Science 18, 2024. 该综述把 LLM 智能体系统组织在反复出现的组件周围,并为这个领域提供了一幅有用的地图。https://doi.org/10.1007/s11704-024-40231-1
下一章:动作边界
我们现在有了足够具体、可以改进的东西,而它最弱的点是提案变成副作用的地方。在我 们的小循环里,模型输出直达执行,中间没有任何东西。
下一章用一道真正的边界填补那个空隙:一个结构化的提案,在执行器被允许触碰任何东 西之前先被解析、校验和授权。这是走向可靠智能体的第一步,它源自一个单一的承诺:
永远不要仅仅因为原始模型输出看起来合理,就让它变成副作用。