Cas appariés
Les mêmes 87 cas de correction ont tourné face aux deux agents sur des checkouts identiques.
Benchmarks
Plus rapide. Moins cher. Vérifié.
87 cas appariés de correction de bugs sur des checkouts identiques, Codna face à Cursor. Codna a vérifié 87 sur 87 pour environ 0,02 $ par correction, avec 5× moins de tokens et 1,7× plus vite.
| Indicateur | Codna | Cursor |
|---|---|---|
| Corrections vérifiées | 87 / 87 | 87 / 87 |
| Cas appariés | 87 | 87 |
| Durée moyenne | 13.39s | 22.57s |
| Tokens moyens par correction | 16,159 | 80,971 |
| Coût de modèle moyen par correction | $0.021 | n/d |
| Compréhension du dépôt | 0 token | Contexte du modèle |
5×moins de tokens que Cursor par correction : 16 159 contre 80 971.
1.7×plus rapide que Cursor par correction : 13,39 s contre 22,57 s.
$0.02par correction vérifiée en moyenne : 0,021 $ sur 87 cas.
Méthodologie
De vrais bugs. De vrais dépôts. Des cas appariés.
Chaque cas a tourné sur un checkout identique pour les deux agents. Un cas ne compte que lorsque la correction a été vérifiée. Le tableau donne des moyennes sur les 87 cas appariés.
Tokens moyens par correction
Codna a utilisé en moyenne 16 159 tokens par correction. Cursor, 80 971.
Durée moyenne
Codna a mis en moyenne 13,39 secondes par correction. Cursor, 22,57 secondes.
Par correction vérifiée
Codna a dépensé en moyenne 0,021 $ de modèle par correction vérifiée.
Moyennes sur 87 cas appariés de correction de bugs sur des checkouts identiques. Un cas ne compte que lorsque la correction a été vérifiée. Télécharger le résumé (JSON) →
Questions fréquentes
Codna a tourné face à Cursor sur 87 cas appariés de correction de bugs, chacun sur un checkout identique. Les totaux de tokens, la durée et le coût de modèle ont été relevés par cas et moyennés.
Un cas ne compte que lorsque la correction a été vérifiée. Codna a vérifié 87 sur 87. Cursor a vérifié 87 sur 87.
16 159 tokens au total par correction en moyenne, contre 80 971 pour Cursor. Codna affiche aussi la taille de contexte brut/dossier à chaque exécution, pour que vous voyiez le chiffre sur votre propre dépôt.
Codna cartographie le graphe de dépendances et de rayon d'impact sans modèle, pour zéro token. L'agent ne reçoit que les preuves pertinentes, donc il y a moins à lire avant de produire une correction.
0,021 $ de dépense de modèle par correction vérifiée en moyenne sur les 87 cas. Avec votre propre clé, vous payez votre fournisseur directement.
Codna fonctionne avec votre propre clé, donc vous choisissez le modèle pour vos exécutions. Définissez le fournisseur avec codna key set, ou passez --model fournisseur/modèle. Le planificateur par défaut est repository.verified_agentic_v1.
Vérifiez-le dans votre dépôt.
codna fix . --issue "the failing test"