বেঞ্চমার্ক

দ্রুত। সস্তা। যাচাইকৃত।

অভিন্ন চেকআউটে ৮৭টি মিলিত বাগ-ফিক্স কেস, Codna বনাম Cursor। Codna ৮৭টির মধ্যে ৮৭টি প্রতি ফিক্সে প্রায় $0.02-এ যাচাই করেছে, ৫× কম টোকেন ও ১.৭× দ্রুততায়।

মেট্রিকCodnaCursor
ফিক্স যাচাইকৃত87 / 8787 / 87
মিলিত কেস8787
গড় সময়13.39s22.57s
প্রতি ফিক্সে গড় টোকেন16,15980,971
প্রতি ফিক্সে গড় মডেল খরচ$0.021প্রযোজ্য নয়
রেপো বোঝা০ টোকেনমডেল কনটেক্সট
5×প্রতি ফিক্সে Cursor-এর চেয়ে কম টোকেন: ১৬,১৫৯ বনাম ৮০,৯৭১।
1.7×প্রতি ফিক্সে Cursor-এর চেয়ে দ্রুত: ১৩.৩৯ সে বনাম ২২.৫৭ সে।
$0.02প্রতি যাচাইকৃত ফিক্সে গড়ে: ৮৭টি কেসে $0.021।

পদ্ধতি

আসল বাগ। আসল রেপো। মিলিত কেস।

প্রতিটি কেস দুই এজেন্টের জন্য অভিন্ন চেকআউটে চলেছে। ফিক্স যাচাই হলেই কেবল কেস গণনা হয়। টেবিলে ৮৭টি মিলিত কেসের গড় দেখানো হয়েছে।

87

মিলিত কেস

একই ৮৭টি বাগ-ফিক্স কেস অভিন্ন চেকআউটে দুই এজেন্টের বিরুদ্ধে চলেছে।

16.2K

প্রতি ফিক্সে গড় টোকেন

Codna প্রতি ফিক্সে গড়ে ১৬,১৫৯ মোট টোকেন। Cursor গড়ে ৮০,৯৭১।

13.4s

গড় সময়

Codna প্রতি ফিক্সে গড়ে ১৩.৩৯ সেকেন্ড। Cursor গড়ে ২২.৫৭ সেকেন্ড।

$0.02

প্রতি যাচাইকৃত ফিক্সে

Codna প্রতি যাচাইকৃত ফিক্সে গড়ে $0.021 মডেল খরচ।

অভিন্ন চেকআউটে ৮৭টি মিলিত বাগ-ফিক্স কেসের গড়। ফিক্স যাচাই হলেই কেবল কেস গণনা হয়। সারসংক্ষেপ ডাউনলোড করুন (JSON) →

সাধারণ জিজ্ঞাসা

Codna ৮৭টি মিলিত বাগ-ফিক্স কেসে Cursor-এর সঙ্গে মুখোমুখি চলেছে, প্রতিটি অভিন্ন চেকআউটে। প্রতি কেসে মোট টোকেন, সময় ও মডেল খরচ নথিভুক্ত করে গড় করা হয়েছে।

ফিক্স যাচাই হলেই কেবল কেস গণনা হয়। Codna ৮৭টির মধ্যে ৮৭টি যাচাই করেছে। Cursor ৮৭টির মধ্যে ৮৭টি যাচাই করেছে।

প্রতি ফিক্সে গড়ে ১৬,১৫৯ মোট টোকেন, Cursor-এর ৮০,৯৭১-এর বিপরীতে। Codna প্রতিটি রানে কাঁচা-থেকে-বান্ডল কনটেক্সট আকারও ছাপে, যাতে আপনি নিজের রেপোর সংখ্যা দেখতে পারেন।

Codna মডেল ছাড়া, শূন্য টোকেনে ডিপেন্ডেন্সি ও প্রভাব-পরিধি গ্রাফ ম্যাপ করে। এজেন্ট কেবল প্রাসঙ্গিক এভিডেন্স পায়, তাই ফিক্স তৈরির আগে কম পড়তে হয়।

৮৭টি কেসে প্রতি যাচাইকৃত ফিক্সে গড়ে $0.021 মডেল খরচ। আপনার নিজের কী দিয়ে আপনি প্রোভাইডারকে সরাসরি দেন।

Codna আপনার নিজের কী-ভিত্তিক, তাই আপনার রানের মডেল আপনি বেছে নেন। codna key set দিয়ে প্রোভাইডার সেট করুন, অথবা --model provider/model পাস করুন। ডিফল্ট প্ল্যানার repository.verified_agentic_v1।

আপনার রেপোতে যাচাই করুন।

codna fix . --issue "the failing test"