Podłącz model AI do BenchQuorum

BenchQuorum potrzebuje modelu, żeby planować kroki i pisać pliki. To Ty wybierasz, gdzie ten model działa: u dostawcy AI w chmurze przez standardowy punkt końcowy API, na własnym PC albo jako model wbudowany. Ten wybór decyduje, jaki tekst opuszcza Twoją maszynę.

Trzy sposoby podłączenia modelu

Dostawca AI w chmurze

Dostawca AI w chmurze nadaje się do trudnych zadań wieloetapowych, a podłączasz go przez standardowy punkt końcowy API z własnym kluczem. Twój klucz zostaje lokalnie. Twoje prompty trafiają do tego dostawcy, więc nie wklejaj niczego z maszyny, której nie wolno Ci udostępniać, i pamiętaj, że dostawca może osobno naliczać opłaty za użycie.

Model na własnym PC

Model działający lokalnie na Twoim PC nadaje się do prywatnej pracy i maszyn bez dostępu do internetu. Z modelem lokalnym nic nie opuszcza maszyny, bo prompty nigdy nie trafiają do innego punktu końcowego. Kompromisem jest sprzęt: mały model może wymagać od Ciebie więcej kontroli, a duży potrzebuje PC, który go uruchomi.

Model wbudowany

Model wbudowany nie wymaga konfiguracji punktu końcowego, więc to dobre miejsce na start, gdy nie masz jeszcze dostawcy. Zacznij od małego. Nadal sprawdzasz każdy diff, który proponuje, i każde polecenie przed zaakceptowaniem, dokładnie jak przy modelu chmurowym lub lokalnym, bo jakość modeli bywa różna i nic nie jest domyślnie poprawne.

Naciśnij Test przed startem

Przycisk Test sprawdza wpisany punkt końcowy. Pokazuje czas odpowiedzi i okno kontekstu, czyli ile tekstu model może utrzymać naraz. Wolna odpowiedź lub małe okno od razu mówi Ci, że długi skrypt i długi plik wyników mogą się nie zmieścić.

Dopasuj model do kroku

Użyj większego modelu do refaktoryzacji i logiki obejmującej kilka plików, a mniejszego do drobnych edycji, takich jak poprawienie jednej linii w bench.py czy dodanie kolumny do results.csv. Rozmiar powinien odpowiadać zadaniu. Gdy jeden krok jest trudny, run_on_model wysyła tylko ten krok do większego modelu, a reszta czatu zostaje przy mniejszym.

Jakość różni się między modelami, więc czytaj każdy diff. Ask first zatrzymuje się przed każdą zmianą, co daje Ci chwilę na sprawdzenie polecenia lub edycji pliku względem zmierzonych liczb. Nigdy nie akceptuj wyniku, którego nie obejrzałeś.