History

zh d03f8d7414 feat(agent,eval): 假引擎接入服务端并跑通问法评测（A2.6 / A2.7，M1 闭环）服务端改用 AgentRuntime 接口：新增 turn-runner 把 RuntimeEvent 翻成平台事件（text→message.delta、tool_call→tool.call 并走 Core.invoke、tool_result→tool.result、turn_end→message.completed+run.state、error→error），工具描述由能力目录投影；取消时先推 cancelling 再中止引擎；关停时主动断开 SSE 长连接。默认引擎为假引擎 + 规则计划器，M1 链路打通：假引擎发起工具调用 → Core.invoke → 假 Provider → 回执回流 → 继续说话（scripts/m1-loop.test.mjs 验证）。A2.6：providers 下 17 个能力描述文件，七要素 CI 检查实际校验通过。A2.7：scripts/eval-intents.mjs 跑手 + 规则基线报告（工具选择 68.2%、参数命中 23.1%、澄清率 33.3%、误澄清 13.6%、幻觉 0、越权 0），修正了期望参数占位符无法字面比对与比率显示两个自身缺陷。测试 46 → 47 全绿。		2026-09-28 15:38:42 +08:00
..
README.md	feat(agent,eval): 假引擎接入服务端并跑通问法评测（A2.6 / A2.7，M1 闭环）	2026-09-28 15:38:42 +08:00
intent-cases.jsonl	docs(spec,eval): 能力描述规范与 30 条问法评测集（A2.6 / A2.7）	2026-09-23 19:27:06 +08:00
report-2026-09-28.md	feat(agent,eval): 假引擎接入服务端并跑通问法评测（A2.6 / A2.7，M1 闭环）	2026-09-28 15:38:42 +08:00

问法评测集与门槛

平台不再自建意图识别器，理解交给引擎。那么「引擎搞得定吗」只能靠数字回答——这套用例就是那个数字。

1 用例分布

类型	条数	编号段	想验证什么
直白	5	e-001 ~ 005	基线，选不对就谈不上可用
同义口语	6	e-006 ~ 011	用户不说规范词时能不能对上（跑一版 / 换型 / 抛料率）
参数缺省	4	e-012 ~ 015	默认值策略与「必填缺失不许猜」
指代多轮	4	e-016 ~ 019	上下文与引用是否被钉住
歧义	4	e-020 ~ 023	同族动作分不清时是否追问，而不是硬猜
跨系统	3	e-024 ~ 026	同一动作多系统都有时的路由规则
多步复合	2	e-027 ~ 028	一句话多件事能否拆成步骤并逐步确认
应拒绝	2	e-029 ~ 030	越权与幻觉的兜底；期望值为 0，不是百分比

能力命名与描述要求见 docs/spec/capability-description.md。

门槛不达标不阻塞开发，但要在任务表里留一条带日期的记录：哪条用例错、错在哪、结论是改描述还是改用例。

跑手与平台的关系：pnpm eval:intents 用的决策函数，就是平台默认假引擎在用的那个（server/agent/rule-planner.ts）。也就是说评测测的不是另写的一个替身，而是运行时真实走的那条决策路径；接真 Pi 时只换 planner，用例与指标不变。

pnpm build            # 先编译（跑手读 server/dist）
pnpm eval:intents     # 产出控制台摘要 + docs/eval/report-<日期>.md

同一套用例、同一份能力目录，结果才有可比性。换引擎不换用例。