Conectează un model AI la BenchQuorum
BenchQuorum are nevoie de un model ca să-și planifice pașii și să scrie fișiere. Tu alegi unde rulează acel model: la un furnizor de AI în cloud printr-un endpoint API standard, pe propriul tău PC sau ca model integrat. Alegerea hotărăște ce text părăsește mașina ta.
Trei moduri de a conecta un model
Un furnizor de AI în cloud
Un furnizor de AI în cloud se potrivește muncii grele, în mai mulți pași, și îl conectezi printr-un endpoint API standard, cu propria ta cheie. Cheia ta rămâne locală. Prompturile tale ajung la acel furnizor, așa că nu lipi nimic de pe o mașină pe care nu ai voie s-o partajezi și ține cont că furnizorul poate taxa separat utilizarea.
Un model pe propriul tău PC
Un model care rulează local pe PC-ul tău se potrivește muncii private și mașinilor fără acces la internet. Cu un model local nu iese nimic de pe mașină, pentru că prompturile nu ajung niciodată la alt endpoint. Compromisul este hardware-ul: un model mic poate cere mai multă verificare din partea ta, iar unul mare are nevoie de un PC în stare să-l ruleze.
Modelul integrat
Modelul integrat nu cere nicio configurare de endpoint, așa că este un bun punct de plecare când nu ai încă un furnizor. Începe cu puțin. Tot tu verifici fiecare diff propus și fiecare comandă înainte să accepți, exact ca la un model cloud sau local, pentru că și calitatea modelelor variază și nimic nu este corect din oficiu.
Apasă Test înainte să începi
Butonul Test verifică endpoint-ul pe care l-ai introdus. Arată timpul de răspuns și fereastra de context, adică cât text poate ține modelul deodată. Un răspuns lent sau o fereastră mică te anunță din timp că un script lung și un fișier lung de rezultate s-ar putea să nu încapă.
Potrivește modelul cu pasul
Folosește un model mai mare pentru refactorizări și pentru logica ce atinge mai multe fișiere, și unul mai mic pentru modificări mici, precum corectarea unei linii din bench.py sau adăugarea unei coloane în results.csv. Mărimea trebuie să urmeze sarcina. Când un singur pas este dificil, run_on_model trimite doar acel pas unui model mai mare, iar restul chatului rămâne la cel mai mic.
Calitatea variază de la un model la altul, așa că citește fiecare diff. Ask first se oprește înainte de fiecare modificare, ceea ce îți dă un moment să verifici o comandă sau o editare de fișier cu valorile pe care le-ai măsurat. Nu accepta niciodată un rezultat pe care nu l-ai văzut.
