Koppel een AI-model aan BenchQuorum

BenchQuorum heeft een model nodig om zijn stappen te plannen en bestanden te schrijven. Jij kiest waar dat model draait: een cloud-AI-aanbieder via een standaard API-eindpunt, een model op je eigen pc of het ingebouwde model. Die keuze bepaalt welke tekst je machine verlaat.

Drie manieren om een model te koppelen

Een cloud-AI-aanbieder

Een cloud-AI-aanbieder past bij lastig werk in meerdere stappen, en je koppelt hem via een standaard API-eindpunt met je eigen sleutel. Je sleutel blijft lokaal. Je prompts gaan naar die aanbieder, dus plak niets van een machine die je niet mag delen, en houd er rekening mee dat de aanbieder het gebruik apart kan rekenen.

Een model op je eigen pc

Een model dat lokaal op je pc draait past bij privéwerk en bij machines zonder internettoegang. Met een lokaal model verlaat niets de machine, omdat prompts nooit een ander eindpunt bereiken. De keerzijde is de hardware: een klein model vraagt misschien meer controle van jou, en een groot model heeft een pc nodig die het kan draaien.

Het ingebouwde model

Het ingebouwde model heeft geen eindpuntconfiguratie nodig, en is daarom een goed begin als je nog geen aanbieder hebt. Begin klein. Je controleert nog steeds elke diff die het voorstelt en elke opdracht voordat je accepteert, precies zoals bij een cloud- of lokaal model, omdat de kwaliteit van modellen verschilt en niets standaard klopt.

Druk op Test voordat je begint

De knop Test controleert het eindpunt dat je hebt ingevuld. Hij toont de reactietijd en het contextvenster, oftewel hoeveel tekst het model tegelijk kan vasthouden. Een trage reactie of een klein venster vertelt je vroeg dat een lang script en een lang resultaatbestand misschien niet passen.

Kies het model bij de stap

Gebruik een groter model voor refactors en logica die meerdere bestanden beslaat, en een kleiner model voor kleine bewerkingen, zoals één regel in bench.py herstellen of een kolom toevoegen aan results.csv. De grootte moet de taak volgen. Als één stap moeilijk is, stuurt run_on_model alleen die stap naar een groter model, en de rest van de chat blijft bij het kleinere.

De kwaliteit verschilt per model, dus lees elke diff. Ask first pauzeert voor elke wijziging, waardoor je even de tijd hebt om een opdracht of bestandsbewerking te toetsen aan de waarden die je hebt gemeten. Accepteer nooit een resultaat dat je niet hebt bekeken.