Connecte un modèle d'IA à BenchQuorum
BenchQuorum a besoin d'un modèle pour planifier ses étapes et écrire des fichiers. Tu choisis où ce modèle tourne : un fournisseur d'IA dans le cloud via un point d'accès d'API standard, un modèle sur ton propre PC, ou le modèle intégré. Ce choix décide quel texte quitte ta machine.
Trois façons de connecter un modèle
Un fournisseur d'IA dans le cloud
Un fournisseur d'IA dans le cloud convient aux tâches difficiles en plusieurs étapes, et tu le connectes via un point d'accès d'API standard avec ta propre clé. Ta clé reste en local. Tes prompts partent chez ce fournisseur : ne colle donc rien qui vienne d'une machine que tu n'as pas le droit de partager, et sache que le fournisseur peut facturer son usage à part.
Un modèle sur ton propre PC
Un modèle qui tourne en local sur ton PC convient au travail privé et aux machines sans accès à Internet. Avec un modèle local, rien ne quitte la machine, car les prompts n'atteignent jamais un autre point d'accès. Le prix à payer, c'est le matériel : un petit modèle peut demander plus de relecture de ta part, et un gros modèle exige un PC capable de le faire tourner.
Le modèle intégré
Le modèle intégré ne demande aucune configuration de point d'accès, ce qui en fait un bon départ quand tu n'as pas encore de fournisseur. Commence petit. Tu relis quand même chaque diff qu'il propose et chaque commande avant d'accepter, exactement comme avec un modèle cloud ou local, car la qualité des modèles varie et rien n'est correct par défaut.
Appuie sur Test avant de commencer
Le bouton Test vérifie le point d'accès que tu as saisi. Il affiche le temps de réponse et la fenêtre de contexte, c'est-à-dire la quantité de texte que le modèle peut garder en même temps. Une réponse lente ou une petite fenêtre te prévient dès le début qu'un long script et un long fichier de résultats risquent de ne pas tenir.
Adapte le modèle à l'étape
Prends un modèle plus gros pour les refactorisations et la logique qui touche plusieurs fichiers, et un plus petit pour les petites modifications, comme corriger une ligne de bench.py ou ajouter une colonne à results.csv. La taille doit suivre la tâche. Quand une seule étape est difficile, run_on_model envoie seulement cette étape à un modèle plus gros, et le reste du chat reste sur le plus petit.
La qualité varie d'un modèle à l'autre, donc lis chaque diff. Ask first s'arrête avant chaque modification, ce qui te laisse un instant pour comparer une commande ou une modification de fichier avec les chiffres que tu as mesurés. N'accepte jamais un résultat que tu n'as pas regardé.
