把某个 provider 的溢出消息归一化,好让 Pi 能恢复
一个脚本化 provider 自己的溢出消息,在 message_end 里被归一化之后,变成压缩并重试;没有那个处理器,它就只是一次失败。
一次失败的请求有三种不同的答案:重复它(暂时的)、修复上下文后重试一次(溢出),或者停下来。Pi 识别它自己的溢出信号;一个自定义 provider 的消息可能不会被识别。下面的扩展只把那一个 provider 的溢出文本映射到 Pi 识别的那个标记上,好让恢复得以运行。这里的一切都在 1.0.4 上被观察过,对手是一个脚本化 provider,运行在一个启用了压缩的会话里——一个真实的 AgentSession,没有真实模型。
运行它
使用 Pi 1.0.4 和示例仓库的某一个测试运行器。下面的文件是本章的规范扩展,原样复制:
import type { ExtensionAPI } from "@earendil-works/pi-coding-agent";
// For a provider whose context-overflow message Pi does not recognise: rewrite
// only that provider's overflow response, and nothing else, so Pi's own
// compact-and-retry recovery can run.
export default function (pi: ExtensionAPI) {
pi.on("message_end", async (event) => {
const msg = event.message;
if (msg.role !== "assistant") return;
if (msg.stopReason !== "error") return;
if (!msg.errorMessage?.includes("model is too long")) return;
return {
message: { ...msg, errorMessage: "context_length_exceeded" },
};
});
}那个处理器返回 { message }——一个 MessageEndEventResult,它唯一的字段替换掉已最终确定的消息——而不是消息本身。直接返回 { ...msg, errorMessage } 编译不过,而且会被静默忽略,让溢出保持未归一化。
分类边界
这个检查落在归一化后的模式上,不是对一个词的扫描。那个处理器把一个 provider 特有的短语("model is too long")在一个停止原因("error")上映射到 Pi 识别的唯一规范标记 context_length_exceeded 上。一条仅仅包含 length 这个词的限流消息不是那个标记,会原样穿过。
预期结果
| 消息(脚本化 provider) | 加载了处理器? | 观察到的结果 |
|---|---|---|
model is too long for this context |
是 | 带着 reason: "overflow" 的 compaction_start,然后带着 willRetry: true 的 compaction_end,然后一次全新的运行给出答案 |
model is too long for this context |
否 | 一次普通的失败;没有尝试压缩 |
429 rate limit: request length quota exceeded |
是 | 原样放过;没有压缩 |
那次失败的尝试在记录里保持可见:恢复用一条 context_edit 条目(仅追加、分支相对)把它从模型上下文中省略,并追加一条 compaction 条目,而不是删除它。那次重试是一次全新的运行,不是一次续接。
机制与局限
有文档记载:compaction.md 为一次已识别的上下文溢出错误或一个提前的 stopReason: "length" 锁定了那唯一一次压缩并重试的恢复尝试;custom-provider.md 说只在一个加了防护的 message_end 处理器里归一化那一个 provider 的溢出响应,而不要把限流或暂时的失败改写为溢出。**已观察:**上面三行都由 overflow.test.ts 断言,它在 1.0.4 上以进程内方式运行,用一个脚本化 provider 并启用了压缩。
恢复只发生一次:如果压缩本身失败或被取消,Pi 会保留那些省略编辑,不追加压缩,也不安排重试。那个处理器必须保持消息的角色,而检测用的就是 provider 自己的文本——另一个 provider 的溢出措辞需要它自己的守卫。这个示例不展示真实的 provider 消息或真实模型的回答;它展示的是 message_end 上的分类边界。
完整源码与测试 。
Understand this example
Copy this prompt into your AI tool. No code runs here.
Apply this example
Copy this prompt into your AI tool. No code runs here.