Abgestimmte Fälle
Dieselben 87 Bugfix-Fälle liefen gegen beide Agenten auf identischen Checkouts.
Benchmarks
Schneller. Günstiger. Verifiziert.
87 abgestimmte Bugfix-Fälle auf identischen Checkouts, Codna gegen Cursor. Codna verifizierte 87 von 87 für etwa 0,02 $ pro Fix, mit 5× weniger Tokens und 1,7× schneller.
| Kennzahl | Codna | Cursor |
|---|---|---|
| Fixes verifiziert | 87 / 87 | 87 / 87 |
| Abgestimmte Fälle | 87 | 87 |
| Durchschnittliche Laufzeit | 13.39s | 22.57s |
| Durchschnittliche Tokens pro Fix | 16,159 | 80,971 |
| Durchschnittliche Modellkosten pro Fix | $0.021 | n/v |
| Repo-Verständnis | 0 Tokens | Modellkontext |
5×weniger Tokens als Cursor pro Fix: 16.159 gegenüber 80.971.
1.7×schneller als Cursor pro Fix: 13,39 s gegenüber 22,57 s.
$0.02pro verifiziertem Fix im Schnitt: 0,021 $ über 87 Fälle.
Methodik
Echte Bugs. Echte Repos. Abgestimmte Fälle.
Jeder Fall lief für beide Agenten auf einem identischen Checkout. Ein Fall zählt nur, wenn der Fix verifiziert wurde. Die Tabelle zeigt Durchschnitte über die 87 abgestimmten Fälle.
Durchschnittliche Tokens pro Fix
Codna brauchte im Schnitt 16.159 Tokens pro Fix. Cursor im Schnitt 80.971.
Durchschnittliche Laufzeit
Codna brauchte im Schnitt 13,39 Sekunden pro Fix. Cursor im Schnitt 22,57 Sekunden.
Pro verifiziertem Fix
Codna kostete im Schnitt 0,021 $ an Modellausgaben pro verifiziertem Fix.
Durchschnitte über 87 abgestimmte Bugfix-Fälle auf identischen Checkouts. Ein Fall zählt nur, wenn der Fix verifiziert wurde. Zusammenfassung herunterladen (JSON) →
Häufige Fragen
Codna lief direkt gegen Cursor in 87 abgestimmten Bugfix-Fällen, jeder auf einem identischen Checkout. Token-Summen, Laufzeit und Modellkosten wurden pro Fall erfasst und gemittelt.
Ein Fall zählt nur, wenn der Fix verifiziert wurde. Codna verifizierte 87 von 87. Cursor verifizierte 87 von 87.
Im Schnitt 16.159 Tokens pro Fix, gegenüber 80.971 bei Cursor. Codna gibt außerdem bei jedem Lauf die Kontextgröße von Roh- zu Bündel aus, damit du die Zahl für dein eigenes Repo siehst.
Codna kartiert den Abhängigkeits- und Wirkungsradius-Graphen ohne Modell, für null Tokens. Der Agent erhält nur die relevante Evidenz, also gibt es weniger zu lesen, bevor ein Fix entsteht.
0,021 $ an Modellausgaben pro verifiziertem Fix im Schnitt über die 87 Fälle. Mit deinem eigenen Schlüssel zahlst du deinen Anbieter direkt.
Codna arbeitet mit deinem eigenen Schlüssel, du wählst also das Modell für deine Läufe. Setze den Anbieter mit codna key set oder übergib --model anbieter/modell. Der Standard-Planer ist repository.verified_agentic_v1.
Prüf es in deinem Repo.
codna fix . --issue "the failing test"