Collega un modello IA a BenchQuorum
BenchQuorum ha bisogno di un modello per pianificare i suoi passi e scrivere file. Scegli tu dove gira quel modello: un provider di IA nel cloud tramite un endpoint API standard, un modello sul tuo PC o il modello integrato. La scelta decide quale testo lascia la tua macchina.
Tre modi per collegare un modello
Un provider di IA nel cloud
Un provider di IA nel cloud è adatto ai lavori difficili in più passi, e lo colleghi tramite un endpoint API standard con la tua chiave. La tua chiave resta locale. I tuoi prompt vanno a quel provider, quindi non incollare nulla da una macchina che non puoi condividere, e ricorda che il provider può addebitare a parte il suo utilizzo.
Un modello sul tuo PC
Un modello che gira in locale sul tuo PC è adatto al lavoro privato e alle macchine senza accesso a Internet. Con un modello locale non esce nulla dalla macchina, perché i prompt non raggiungono mai un altro endpoint. Il compromesso è l'hardware: un modello piccolo può richiedere più revisione da parte tua, e uno grande richiede un PC in grado di eseguirlo.
Il modello integrato
Il modello integrato non richiede configurazione di endpoint, il che lo rende un buon punto di partenza quando non hai ancora un provider. Parti in piccolo. Controlli comunque ogni diff che propone e ogni comando prima di accettare, esattamente come con un modello cloud o locale, perché la qualità dei modelli varia e nulla è corretto per impostazione predefinita.
Premi Test prima di iniziare
Il pulsante Test controlla l'endpoint che hai inserito. Mostra il tempo di risposta e la finestra di contesto, cioè quanto testo il modello riesce a tenere insieme. Una risposta lenta o una finestra piccola ti avvisa subito che uno script lungo e un lungo file di risultati potrebbero non starci.
Abbina il modello al passo
Usa un modello più grande per i refactoring e per la logica che attraversa più file, e uno più piccolo per le modifiche minime, come correggere una riga di bench.py o aggiungere una colonna a results.csv. La dimensione deve seguire il compito. Quando un singolo passo è difficile, run_on_model manda solo quel passo a un modello più grande, e il resto della chat resta su quello più piccolo.
La qualità varia da un modello all'altro, quindi leggi ogni diff. Ask first si ferma prima di ogni modifica, il che ti dà un momento per confrontare un comando o la modifica di un file con i valori che hai misurato. Non accettare mai un risultato che non hai guardato.
