aps-agent/docs/eval/engine-conformance-2026-09-...

27 lines
1.6 KiB
Markdown
Raw Normal View History

# 引擎一致性对比(2026-09-29)
同一套用例(服务端 agent/conformance.ts)对两个引擎各跑一遍;引擎由配置切换,业务代码不改。
| 检查项 | 假引擎(fake) | Pi(pi:deepseek/deepseek-flash) |
| --- | --- | --- |
| createSession 返回会话 | 通过 | 通过 |
| 单轮产出文本并正常结束 | 通过 | 通过 |
| 结束原因为 stop | 通过(reason=stop) | 通过(reason=stop) |
| turn_end 是最后一个事件 | 通过(turn_end 在第 2/2 个) | 通过(turn_end 在第 9/9 个) |
| 同一会话可多轮 | 通过 | 通过 |
| 发出 tool_call 并带能力 id | 通过(期望 test.echo) | 通过(期望 fake.echo) |
| 回执回流后产出 tool_result | 通过(执行模式:platform) | 通过(执行模式:runtime) |
| 工具回合以 turn_end 收尾 | 通过 | 通过 |
| 取消后以 turn_end(cancelled) 结束 | 通过(reason=cancelled) | 通过(reason=cancelled) |
| 错误事件带合法分类 | 通过(kind=unavailable) | — |
| 带历史恢复后仍可对话 | 通过 | 通过 |
| 错误分类:跳过 | — | 通过(真实模型难以稳定注入错误;错误映射已由假密钥实测覆盖(401→forbidden)) |
- 假引擎(fake):全部通过
- Pi(pi:deepseek/deepseek-flash):全部通过
## 结论
- 两个引擎共用同一套用例与同一份工具契约;差异集中在工具面(假引擎由平台执行,Pi 由扩展桥在子进程内执行)与模型行为。
- 业务侧改动为零:应用服务、Core、客户端、协议都没有因换引擎而变化。