---
title: "Benchmark 协议"
description: "说明性能比较需要固定的实验条件，以及 planning-only、execution 与 E2E 回答的不同问题。"
eyebrow: "Reference"
---

## 建议记录的实验条件 {#protocol}

- 固定 circuit / network corpus、objective、preset、seed / repeat 和搜索上限，并记录实际完成工作量。
- 记录 physical cores、affinity、NUMA、SMT、线程环境、共享或隔离状态。
- 分别保存 planner API wall、external wall、execution wall 和 E2E wall。
- 保存完整 success / wall-limit / error / resource-skip 分母，不只报告完成的公共子集。
- 用独立评估器重新计算最终路径的精确指标，并保存运行完成情况与一致性检查结果。

## Planning-only 与 E2E {#planning-only}

| 实验 | 回答的问题 | 不能回答 |
| --- | --- | --- |
| planning-only | 在给定预算下路径质量与寻路成本 | NumPy / native E2E 谁更快 |
| fixed-path execution | 相同路径在某个 backend 的 contraction 时间 | 哪个 planner 更会寻路 |
| E2E | 规划与执行组合后的实际总时间 | 无限次重复执行时的稳态成本 |
| amortization | 重复 N 次时一次规划的占比 | 未实测 backend 的绝对时间 |

## 结果报告要素 {#report}

结果报告包含分母、失败分类、几何平均、median、胜平负和异常电路。相对比值注明方向以及越高或越低所表示的含义；共享服务器 timing 标记为 diagnostic measurement。