配对案例
同样的 87 个缺陷修复案例在相同检出上对两个智能体运行。
| 指标 | Codna | Cursor |
|---|---|---|
| 已验证修复 | 87 / 87 | 87 / 87 |
| 配对案例 | 87 | 87 |
| 平均耗时 | 13.39s | 22.57s |
| 每次修复平均 token 数 | 16,159 | 80,971 |
| 每次修复平均模型成本 | $0.021 | 不适用 |
| 仓库理解 | 0 token | 模型上下文 |
方法
每个案例都在相同的检出上为两个智能体运行。只有修复通过验证的案例才计入。表格报告 87 个配对案例的平均值。
同样的 87 个缺陷修复案例在相同检出上对两个智能体运行。
Codna 每次修复平均 16,159 个 token。Cursor 平均 80,971 个。
Codna 每次修复平均 13.39 秒。Cursor 平均 22.57 秒。
Codna 每个已验证修复的模型花费平均 $0.021。
相同检出上 87 个配对缺陷修复案例的平均值。只有修复通过验证的案例才计入。 下载摘要 (JSON) →
Codna 在 87 个配对缺陷修复案例中与 Cursor 正面对比,每个案例都在相同的检出上运行。按案例记录 token 总数、耗时和模型成本,然后取平均。
只有修复通过验证的案例才计入。Codna 验证了 87 个中的 87 个。Cursor 验证了 87 个中的 87 个。
每次修复平均 16,159 个 token,Cursor 为 80,971 个。Codna 还在每次运行时打印原始到证据包的上下文大小,你可以看到自己仓库的数字。
Codna 不用模型、以零 token 绘制依赖与影响范围图。智能体只收到相关证据,所以在产出修复前要读的内容更少。
87 个案例中每个已验证修复的模型花费平均 $0.021。用你自己的密钥时,你直接向提供商付费。
Codna 采用自带密钥,所以你自己运行时选择模型。用 codna key set 设置提供商,或传入 --model 提供商/模型。默认规划器是 repository.verified_agentic_v1。
codna fix . --issue "the failing test"