Casos pareados
Os mesmos 87 casos de correção rodaram contra ambos os agentes em checkouts idênticos.
Benchmarks
Mais rápido. Mais barato. Verificado.
87 casos pareados de correção de bugs em checkouts idênticos, Codna contra Cursor. O Codna verificou 87 de 87 a cerca de US$ 0,02 por correção, com 5× menos tokens e 1,7× mais rápido.
| Métrica | Codna | Cursor |
|---|---|---|
| Correções verificadas | 87 / 87 | 87 / 87 |
| Casos pareados | 87 | 87 |
| Tempo médio | 13.39s | 22.57s |
| Tokens médios por correção | 16,159 | 80,971 |
| Custo médio de modelo por correção | $0.021 | n/d |
| Entendimento do repo | 0 tokens | Contexto do modelo |
5×menos tokens que o Cursor por correção: 16.159 contra 80.971.
1.7×mais rápido que o Cursor por correção: 13,39 s contra 22,57 s.
$0.02por correção verificada em média: US$ 0,021 em 87 casos.
Metodologia
Bugs reais. Repos reais. Casos pareados.
Cada caso rodou em um checkout idêntico para ambos os agentes. Um caso só conta quando a correção foi verificada. A tabela informa médias sobre os 87 casos pareados.
Tokens médios por correção
O Codna teve média de 16.159 tokens totais por correção. O Cursor, 80.971.
Tempo médio
O Codna teve média de 13,39 segundos por correção. O Cursor, 22,57 segundos.
Por correção verificada
O Codna gastou em média US$ 0,021 de modelo por correção verificada.
Médias sobre 87 casos pareados de correção de bugs em checkouts idênticos. Um caso só conta quando a correção foi verificada. Baixar o resumo (JSON) →
Perguntas frequentes
O Codna rodou frente a frente com o Cursor em 87 casos pareados de correção de bugs, cada um em um checkout idêntico. Totais de tokens, tempo e custo de modelo foram registrados por caso e tirada a média.
Um caso só conta quando a correção foi verificada. O Codna verificou 87 de 87. O Cursor verificou 87 de 87.
16.159 tokens totais por correção em média, contra 80.971 do Cursor. O Codna também imprime o tamanho do contexto bruto/pacote em cada execução, então você vê o número no seu próprio repo.
O Codna mapeia o grafo de dependências e raio de impacto sem modelo, por zero tokens. O agente recebe só as evidências relevantes, então há menos para ler antes de produzir uma correção.
US$ 0,021 de gasto de modelo por correção verificada em média nos 87 casos. Com a sua própria chave, você paga o provedor diretamente.
O Codna funciona com a sua própria chave, então você escolhe o modelo para as suas execuções. Defina o provedor com codna key set, ou passe --model provedor/modelo. O planejador padrão é repository.verified_agentic_v1.
Verifique no seu repo.
codna fix . --issue "the failing test"