Парные кейсы
Те же 87 кейсов исправления багов прогнаны против обоих агентов на идентичных чекаутах.
Бенчмарки
Быстрее. Дешевле. Проверено.
87 парных кейсов исправления багов на идентичных чекаутах, Codna против Cursor. Codna проверила 87 из 87 при цене около $0,02 за исправление, с в 5× меньшим числом токенов и в 1,7× быстрее.
| Метрика | Codna | Cursor |
|---|---|---|
| Исправлений проверено | 87 / 87 | 87 / 87 |
| Парных кейсов | 87 | 87 |
| Среднее время | 13.39s | 22.57s |
| Среднее число токенов на исправление | 16,159 | 80,971 |
| Средняя стоимость модели на исправление | $0.021 | н/д |
| Понимание репозитория | 0 токенов | Контекст модели |
5×меньше токенов, чем у Cursor, на исправление: 16 159 против 80 971.
1.7×быстрее Cursor на исправление: 13,39 с против 22,57 с.
$0.02за проверенное исправление в среднем: $0,021 на 87 кейсах.
Методология
Настоящие баги. Настоящие репозитории. Парные кейсы.
Каждый кейс запускался на идентичном чекауте для обоих агентов. Кейс засчитывается только при проверенном исправлении. В таблице средние по 87 парным кейсам.
Среднее число токенов на исправление
Codna в среднем тратила 16 159 токенов на исправление. Cursor — 80 971.
Среднее время
Codna в среднем тратила 13,39 секунды на исправление. Cursor — 22,57 секунды.
За проверенное исправление
Codna в среднем расходовала $0,021 на модель за проверенное исправление.
Средние по 87 парным кейсам исправления багов на идентичных чекаутах. Кейс засчитывается только при проверенном исправлении. Скачать сводку (JSON) →
Частые вопросы
Codna запускалась напрямую против Cursor на 87 парных кейсах исправления багов, каждый на идентичном чекауте. Суммы токенов, время и стоимость модели фиксировались по каждому кейсу и усреднялись.
Кейс засчитывается только при проверенном исправлении. Codna проверила 87 из 87. Cursor проверил 87 из 87.
В среднем 16 159 токенов на исправление против 80 971 у Cursor. Codna также печатает размер контекста «сырой объём → пакет» при каждом запуске, так что вы увидите число для своего репозитория.
Codna строит граф зависимостей и радиуса влияния без модели, за ноль токенов. Агент получает только релевантные доказательства, поэтому до появления исправления читать нужно меньше.
В среднем $0,021 расходов на модель за проверенное исправление по 87 кейсам. Со своим ключом вы платите провайдеру напрямую.
Codna работает с вашим ключом, поэтому модель для своих запусков выбираете вы. Задайте провайдера через codna key set или передайте --model провайдер/модель. Планировщик по умолчанию — repository.verified_agentic_v1.
Проверьте в своём репозитории.
codna fix . --issue "the failing test"