Conecta un modelo de IA a BenchQuorum
BenchQuorum necesita un modelo para planificar sus pasos y escribir archivos. Tú eliges dónde corre ese modelo: un proveedor de IA en la nube mediante un endpoint de API estándar, un modelo en tu propio PC o el modelo integrado. Esa elección decide qué texto sale de tu equipo.
Tres formas de conectar un modelo
Un proveedor de IA en la nube
Un proveedor de IA en la nube sirve para trabajo difícil de varios pasos, y lo conectas mediante un endpoint de API estándar con tu propia clave. Tu clave se queda en local. Tus prompts van a ese proveedor, así que no pegues nada de una máquina que no puedas compartir, y ten en cuenta que el proveedor puede cobrar aparte por su uso.
Un modelo en tu propio PC
Un modelo que corre localmente en tu PC sirve para trabajo privado y para equipos sin acceso a internet. Con un modelo local no sale nada del equipo, porque los prompts nunca llegan a otro endpoint. La contrapartida es el hardware: un modelo pequeño puede requerir más revisión de tu parte, y uno grande necesita un PC capaz de ejecutarlo.
El modelo integrado
El modelo integrado no requiere configurar ningún endpoint, así que es un buen punto de partida cuando todavía no tienes proveedor. Empieza con poco. Aun así revisas cada diff que propone y cada comando antes de aceptarlo, igual que con un modelo en la nube o local, porque la calidad de los modelos varía y nada es correcto por defecto.
Pulsa Test antes de empezar
El botón Test comprueba el endpoint que ingresaste. Muestra el tiempo de respuesta y la ventana de contexto, que es cuánto texto puede retener el modelo a la vez. Una respuesta lenta o una ventana pequeña te avisa desde el principio de que un script largo y un archivo de resultados largo quizá no quepan.
Elige el modelo según el paso
Usa un modelo más grande para refactorizaciones y lógica que abarca varios archivos, y uno más pequeño para ediciones menores, como corregir una línea de bench.py o agregar una columna a results.csv. El tamaño debe seguir a la tarea. Cuando un solo paso es difícil, run_on_model envía solo ese paso a un modelo más grande, y el resto del chat sigue con el más pequeño.
La calidad varía entre modelos, así que lee cada diff. Ask first se detiene antes de cada cambio, lo que te da un momento para contrastar un comando o una edición de archivo con los números que mediste. Nunca aceptes un resultado que no hayas mirado.
