Harness Lens

Harness 横向对标

固定同一个模型，逐项比较不同 Harness 的任务得分、成本、时间与工作流消耗。

数据快照：2026-08-06方法与定义 ↗

HARNESS COMPARISON固定模型，横向比较 Harness

每一列是一个 Harness；所有指标按行对齐，不把模型差异混进结论。

3 个可比模型7 个 Harness评测逻辑 ↓

固定基座模型

固定口径AA Coding Agent Index v1.2模型版本 + 推理档位 + 基准族保持一致

STRICT COMPARISON

Opus 4.7 (medium)

同一模型下收录 3 个 Harness，下面可直接逐行比较。

3个 Harness可横向对标

横向滑动查看更多 Harness →

CROSS-MODEL EVIDENCE

第二层证据：检查 Harness 差异在其他固定模型上是否重复出现。

3组严格同模证据

固定模型	Claude CodeAA Index v1.2	CodexAA Index v1.2	Cursor CLIAA Index v1.2	OpenCodeAA Index v1.2
Opus 4.7 (medium)3 个 Harness 同模对照	40.5-9.5 分	—	45.4-4.6 分	50组内最高
GPT-5.4 (medium)2 个 Harness 同模对照	—	39.1组内最高	37.1-2 分	—
GPT-5.5 (medium)2 个 Harness 同模对照	—	54.4组内最高	46.1-8.3 分	—

METHOD评测逻辑与边界固定模型版本、推理档位和基准任务，只替换 Harness。

展开方法 +

目标不是给 Harness 造一个总分，而是尽量隔离它对同一模型结果的影响。

01固定变量

模型版本、推理档位、基准任务、评分口径保持一致。

02唯一变化

只替换 Harness 的系统提示、工具、上下文组织与执行循环。

03任务计分

每个任务进行 3 次评测，以 pass@1 的任务级均值计算各基准成绩。

04形成指数

DeepSWE、Terminal-Bench v2、SWE-Atlas-QnA 三项基准等权平均。

DeepSWE · 113 个任务真实代码修改Terminal-Bench v2 · 84 个任务终端工作流SWE-Atlas-QnA · 124 个任务代码库理解

补充证据 · MiMo-V2.5-Pro小米官方控制实验 · 待第三方复核

展开来源 +

同一基座模型，仅替换 Harness；因基准来源不同，与 AA 指数分开呈现。

MiMo Code

Claude Code