Casi appaiati
Gli stessi 87 casi di bug fix sono stati eseguiti contro entrambi gli agenti su checkout identici.
Benchmark
Più veloce. Più economico. Verificato.
87 casi appaiati di bug fix su checkout identici, Codna contro Cursor. Codna ha verificato 87 su 87 a circa 0,02 $ per fix, con 5× meno token e 1,7× più veloce.
| Metrica | Codna | Cursor |
|---|---|---|
| Fix verificati | 87 / 87 | 87 / 87 |
| Casi appaiati | 87 | 87 |
| Tempo medio | 13.39s | 22.57s |
| Token medi per fix | 16,159 | 80,971 |
| Costo medio del modello per fix | $0.021 | n/d |
| Comprensione del repo | 0 token | Contesto del modello |
5×meno token di Cursor per fix: 16.159 contro 80.971.
1.7×più veloce di Cursor per fix: 13,39 s contro 22,57 s.
$0.02per fix verificato in media: 0,021 $ su 87 casi.
Metodologia
Bug veri. Repo veri. Casi appaiati.
Ogni caso è stato eseguito su un checkout identico per entrambi gli agenti. Un caso conta solo quando il fix è stato verificato. La tabella riporta le medie sugli 87 casi appaiati.
Token medi per fix
Codna ha usato in media 16.159 token totali per fix. Cursor in media 80.971.
Tempo medio
Codna ha impiegato in media 13,39 secondi per fix. Cursor in media 22,57 secondi.
Per fix verificato
Codna ha speso in media 0,021 $ di modello per fix verificato.
Medie su 87 casi appaiati di bug fix su checkout identici. Un caso conta solo quando il fix è stato verificato. Scarica il riepilogo (JSON) →
Domande frequenti
Codna è stato eseguito testa a testa contro Cursor su 87 casi appaiati di bug fix, ciascuno su un checkout identico. Token totali, tempo e costo del modello sono stati registrati per caso e mediati.
Un caso conta solo quando il fix è stato verificato. Codna ha verificato 87 su 87. Cursor ha verificato 87 su 87.
16.159 token totali per fix in media, contro 80.971 di Cursor. Codna stampa anche la dimensione del contesto grezzo/pacchetto a ogni esecuzione, così puoi vedere il numero sul tuo repo.
Codna mappa il grafo di dipendenze e raggio d'impatto senza modello, per zero token. L'agente riceve solo le evidenze rilevanti, quindi c'è meno da leggere prima di produrre un fix.
0,021 $ di spesa modello per fix verificato in media sugli 87 casi. Con la tua chiave paghi direttamente il provider.
Codna funziona con la tua chiave, quindi scegli tu il modello per le tue esecuzioni. Imposta il provider con codna key set, oppure passa --model provider/modello. Il planner predefinito è repository.verified_agentic_v1.
Verificalo nel tuo repo.
codna fix . --issue "the failing test"