基准测试

更快。更省。已验证。

相同检出上的 87 个配对缺陷修复案例,Codna 对比 Cursor。Codna 以每次约 $0.02 验证了 87 个中的 87 个,token 少 5 倍、速度快 1.7 倍。

指标CodnaCursor
已验证修复87 / 8787 / 87
配对案例8787
平均耗时13.39s22.57s
每次修复平均 token 数16,15980,971
每次修复平均模型成本$0.021不适用
仓库理解0 token模型上下文
5×每次修复的 token 比 Cursor 少:16,159 对 80,971。
1.7×每次修复比 Cursor 快:13.39 秒对 22.57 秒。
$0.02每个已验证修复的平均值:87 个案例中 $0.021。

方法

真实缺陷。真实仓库。配对案例。

每个案例都在相同的检出上为两个智能体运行。只有修复通过验证的案例才计入。表格报告 87 个配对案例的平均值。

87

配对案例

同样的 87 个缺陷修复案例在相同检出上对两个智能体运行。

16.2K

每次修复平均 token 数

Codna 每次修复平均 16,159 个 token。Cursor 平均 80,971 个。

13.4s

平均耗时

Codna 每次修复平均 13.39 秒。Cursor 平均 22.57 秒。

$0.02

每个已验证修复

Codna 每个已验证修复的模型花费平均 $0.021。

相同检出上 87 个配对缺陷修复案例的平均值。只有修复通过验证的案例才计入。 下载摘要 (JSON) →

常见问题

Codna 在 87 个配对缺陷修复案例中与 Cursor 正面对比,每个案例都在相同的检出上运行。按案例记录 token 总数、耗时和模型成本,然后取平均。

只有修复通过验证的案例才计入。Codna 验证了 87 个中的 87 个。Cursor 验证了 87 个中的 87 个。

每次修复平均 16,159 个 token,Cursor 为 80,971 个。Codna 还在每次运行时打印原始到证据包的上下文大小,你可以看到自己仓库的数字。

Codna 不用模型、以零 token 绘制依赖与影响范围图。智能体只收到相关证据,所以在产出修复前要读的内容更少。

87 个案例中每个已验证修复的模型花费平均 $0.021。用你自己的密钥时,你直接向提供商付费。

Codna 采用自带密钥,所以你自己运行时选择模型。用 codna key set 设置提供商,或传入 --model 提供商/模型。默认规划器是 repository.verified_agentic_v1。

在你的仓库里验证。

codna fix . --issue "the failing test"