Hubungkan model AI ke BenchQuorum

BenchQuorum membutuhkan model untuk merencanakan langkahnya dan menulis file. Kamu yang memilih di mana model itu berjalan: penyedia AI cloud lewat endpoint API standar, model di PC-mu sendiri, atau model bawaan. Pilihan itu menentukan teks apa yang keluar dari mesinmu.

Tiga cara menghubungkan model

Penyedia AI cloud

Penyedia AI cloud cocok untuk pekerjaan sulit dengan banyak langkah, dan kamu menghubungkannya lewat endpoint API standar dengan kuncimu sendiri. Kuncimu tetap lokal. Prompt-mu dikirim ke penyedia itu, jadi jangan tempel apa pun dari mesin yang tidak boleh kamu bagikan, dan ingat bahwa penyedia bisa menagih biaya pemakaian secara terpisah.

Model di PC-mu sendiri

Model yang berjalan lokal di PC-mu cocok untuk pekerjaan pribadi dan mesin tanpa akses internet. Dengan model lokal tidak ada yang keluar dari mesin, karena prompt tidak pernah sampai ke endpoint lain. Imbalannya ada di perangkat keras: model kecil mungkin butuh lebih banyak pemeriksaanmu, dan model besar membutuhkan PC yang sanggup menjalankannya.

Model bawaan

Model bawaan tidak butuh pengaturan endpoint, jadi cocok sebagai awal ketika kamu belum punya penyedia. Mulai dari yang kecil. Kamu tetap memeriksa setiap diff yang diusulkannya dan setiap perintah sebelum menerimanya, persis seperti dengan model cloud atau lokal, karena kualitas model berbeda-beda dan tidak ada yang otomatis benar.

Tekan Test sebelum mulai

Tombol Test memeriksa endpoint yang kamu masukkan. Ia menampilkan waktu respons dan jendela konteks, yaitu seberapa banyak teks yang bisa dipegang model sekaligus. Respons yang lambat atau jendela yang kecil memberi tahu sejak awal bahwa skrip yang panjang dan file hasil yang panjang mungkin tidak muat.

Sesuaikan model dengan langkahnya

Pakai model yang lebih besar untuk refactor dan logika yang mencakup beberapa file, dan model yang lebih kecil untuk pengeditan ringan seperti memperbaiki satu baris di bench.py atau menambah kolom di results.csv. Ukuran harus mengikuti tugasnya. Ketika satu langkah sulit, run_on_model mengirim hanya langkah itu ke model yang lebih besar, sehingga sisa chat tetap di model yang lebih kecil.

Kualitas antarmodel berbeda, jadi baca setiap diff. Ask first berhenti sebelum setiap perubahan, sehingga kamu punya waktu mencocokkan perintah atau pengeditan file dengan angka yang kamu ukur. Jangan pernah menerima hasil yang tidak kamu lihat.