zh
|
b20dbd17d0
|
feat(agent): 引擎可替换验证（A3.9）
一致性用例支持两种工具执行模式（platform 由平台执行、runtime 由引擎侧扩展桥执行）与场景跳过（跳过要记原因，不算通过），并支持把场景会话绑定到平台侧真实会话（Pi 走扩展桥时平台必须真的存在该会话）。新增 scripts/engine-conformance.mjs：同一套用例对假引擎与 Pi 各跑一遍，产出 docs/eval/engine-conformance-<日期>.md 对比报告。实测两轮都是 11 项检查 0 项未通过；过程中修掉一个保真缺陷——Pi 工具名是下划线形式（fake_echo），平台事件里应还原成能力 id（fake.echo），已加反向映射并补单测。测试 76 → 77 全绿。
|
2026-09-29 10:35:40 +08:00 |
|
zh
|
d03f8d7414
|
feat(agent,eval): 假引擎接入服务端并跑通问法评测（A2.6 / A2.7，M1 闭环）
服务端改用 AgentRuntime 接口：新增 turn-runner 把 RuntimeEvent 翻成平台事件（text→message.delta、tool_call→tool.call 并走 Core.invoke、tool_result→tool.result、turn_end→message.completed+run.state、error→error），工具描述由能力目录投影；取消时先推 cancelling 再中止引擎；关停时主动断开 SSE 长连接。默认引擎为假引擎 + 规则计划器，M1 链路打通：假引擎发起工具调用 → Core.invoke → 假 Provider → 回执回流 → 继续说话（scripts/m1-loop.test.mjs 验证）。A2.6：providers 下 17 个能力描述文件，七要素 CI 检查实际校验通过。A2.7：scripts/eval-intents.mjs 跑手 + 规则基线报告（工具选择 68.2%、参数命中 23.1%、澄清率 33.3%、误澄清 13.6%、幻觉 0、越权 0），修正了期望参数占位符无法字面比对与比率显示两个自身缺陷。测试 46 → 47 全绿。
|
2026-09-28 15:38:42 +08:00 |
|
zh
|
fd14783e0e
|
docs(spec,eval): 能力描述规范与 30 条问法评测集（A2.6 / A2.7）
能力描述规范给出七要素、反例对照与近义能力裁决规则；问法评测集覆盖直白/同义/缺省/指代/歧义/跨系统/多步/应拒绝八类共 30 条，并定义六项指标与门槛。用途：平台把意图理解交给引擎后，用数字回答引擎是否搞得定。
|
2026-09-23 19:27:06 +08:00 |