Připoj model AI k BenchQuorum
BenchQuorum potřebuje model, aby plánoval kroky a psal soubory. Ty vybíráš, kde tento model běží: u cloudového poskytovatele AI přes standardní koncový bod API, na vlastním PC, nebo jako vestavěný model. Volba rozhoduje, jaký text opustí tvůj počítač.
Tři způsoby, jak připojit model
Cloudový poskytovatel AI
Cloudový poskytovatel AI se hodí pro náročnou práci o několika krocích a připojuješ ho přes standardní koncový bod API s vlastním klíčem. Tvůj klíč zůstává lokálně. Tvé prompty jdou k tomuto poskytovateli, takže nevkládej nic ze stroje, který nesmíš sdílet, a pamatuj, že poskytovatel může za používání účtovat zvlášť.
Model na vlastním PC
Model běžící lokálně na tvém PC se hodí pro soukromou práci a stroje bez internetu. S lokálním modelem nic neopouští počítač, protože prompty nikdy nedorazí k jinému koncovému bodu. Cenou je hardware: malý model může vyžadovat víc kontroly od tebe a velký potřebuje PC, který ho utáhne.
Vestavěný model
Vestavěný model nepotřebuje žádné nastavení koncového bodu, takže je dobrým začátkem, když ještě nemáš poskytovatele. Začni v malém. Každý diff, který navrhne, i každý příkaz si před přijetím stále kontroluješ, přesně jako u cloudového nebo lokálního modelu, protože kvalita modelů se liší a nic není správně automaticky.
Stiskni Test, než začneš
Tlačítko Test ověří koncový bod, který jsi zadal. Ukáže dobu odezvy a kontextové okno, tedy kolik textu model udrží najednou. Pomalá odezva nebo malé okno ti včas napoví, že dlouhý skript a dlouhý soubor s výsledky se nemusí vejít.
Přizpůsob model kroku
Větší model použij pro refaktorování a logiku přes více souborů a menší pro drobné úpravy, například opravu jednoho řádku v bench.py nebo přidání sloupce do results.csv. Velikost má odpovídat úloze. Je-li těžký jediný krok, run_on_model pošle jen tento krok většímu modelu a zbytek chatu zůstane u menšího.
Kvalita se mezi modely liší, proto čti každý diff. Ask first se před každou změnou zastaví, takže máš chvíli porovnat příkaz nebo úpravu souboru s čísly, která jsi naměřil. Nikdy nepřijímej výsledek, který jsi neprohlédl.
