Verbinde ein KI-Modell mit BenchQuorum
BenchQuorum braucht ein Modell, um seine Schritte zu planen und Dateien zu schreiben. Du wählst, wo dieses Modell läuft: ein Cloud-KI-Anbieter über einen Standard-API-Endpunkt, ein Modell auf deinem eigenen PC oder das integrierte Modell. Die Wahl entscheidet, welcher Text deinen Rechner verlässt.
Drei Wege, ein Modell zu verbinden
Ein Cloud-KI-Anbieter
Ein Cloud-KI-Anbieter eignet sich für schwierige, mehrstufige Aufgaben, und du verbindest ihn über einen Standard-API-Endpunkt mit deinem eigenen Schlüssel. Dein Schlüssel bleibt lokal. Deine Prompts gehen an diesen Anbieter, also füge nichts von einem Rechner ein, den du nicht weitergeben darfst, und bedenke, dass der Anbieter seine Nutzung gesondert berechnen kann.
Ein Modell auf deinem eigenen PC
Ein lokal auf deinem PC laufendes Modell eignet sich für private Arbeit und für Rechner ohne Internetzugang. Mit einem lokalen Modell verlässt nichts den Rechner, weil Prompts nie an einen anderen Endpunkt gelangen. Der Preis dafür ist die Hardware: Ein kleines Modell braucht womöglich mehr Kontrolle von dir, und ein großes verlangt einen PC, der es ausführen kann.
Das integrierte Modell
Das integrierte Modell braucht keine Endpunkt-Einrichtung und ist damit ein guter Einstieg, wenn du noch keinen Anbieter hast. Fang klein an. Du prüfst trotzdem jeden Diff, den es vorschlägt, und jeden Befehl, bevor du akzeptierst, genau wie bei einem Cloud- oder lokalen Modell, denn die Qualität von Modellen schwankt und nichts ist von Haus aus richtig.
Drücke Test, bevor du anfängst
Die Schaltfläche Test prüft den eingegebenen Endpunkt. Sie zeigt die Antwortzeit und das Kontextfenster, also wie viel Text das Modell auf einmal behalten kann. Eine langsame Antwort oder ein kleines Fenster verrät dir früh, dass ein langes Skript und eine lange Ergebnisdatei vielleicht nicht hineinpassen.
Passe das Modell an den Schritt an
Nimm ein größeres Modell für Refactorings und Logik über mehrere Dateien und ein kleineres für kleine Änderungen, etwa eine Zeile in bench.py korrigieren oder eine Spalte zu results.csv hinzufügen. Die Größe sollte zur Aufgabe passen. Ist ein einzelner Schritt schwierig, schickt run_on_model nur diesen Schritt an ein größeres Modell, und der Rest des Chats bleibt beim kleineren.
Die Qualität schwankt zwischen Modellen, also lies jeden Diff. Ask first hält vor jeder Änderung an, sodass du einen Moment hast, einen Befehl oder eine Dateiänderung mit den gemessenen Werten abzugleichen. Akzeptiere nie ein Ergebnis, das du dir nicht angesehen hast.
