Schreibt das Skript
write_file und edit_file erstellen und ändern dein Benchmark-Skript, und jede Änderung erscheint als Diff.
Produkt
Server-Benchmark-Skripte, Läufe und Protokolle für Rechner, die dir gehören
01
Ein Server-Benchmark ist eine feste Aufgabe, die du auf einem Rechner ausführst, der dir gehört oder den du testen darfst, jedes Mal mit denselben Einstellungen, damit sich zwei Ergebnisse fair vergleichen lassen. BenchQuorum schreibt das Skript, führt es in der Shell aus und hält nur die Werte fest, die gemessen wurden. Den Umfang bestimmst du.
Führt deinen Befehl aus
Shell führt deinen Testbefehl aus und meldet den echten Exitcode, sodass du siehst, wann ein Lauf fehlgeschlagen ist.
Liest die Werte
read_file und grep sammeln Werte aus gespeicherten Ergebnisdateien, und der Agent baut eine Tabelle der Läufe.
Was der Agent kann
- Dateienread_file, write_file, append_file, edit_file, delete_file, make_dir, move_file, copy_file, list_dir, grep und glob arbeiten im Arbeitsordner des Chats, mit einem Zähler für erstellte, bearbeitete und gelesene Dateien.
- Shellführt Terminalbefehle aus, etwa deinen Testbefehl oder systeminfo, und beurteilt den Erfolg am echten Exitcode. Gefährliche Befehle werden blockiert.
- Webweb_search findet Seiten, und http_get liest eine Dokumentationsseite, zum Beispiel das Handbuch deiner eigenen Hardware.
- Screenshots und Bilderocr liest Text aus einem Screenshot, etwa einem Einstellungsbildschirm oder einem Ergebnisfenster, und gen_image speichert echte Bilddateien.
- Orchestrierungtask startet parallele Sub-Agenten für getrennte Prüfungen, run_on_model schickt einen schweren Schritt an ein größeres Modell, und skill speichert wiederverwendbare Abläufe.
- FreigabemodiAuto-run handelt sofort, Ask first hält vor jeder Aktion an, die etwas ändert, und Plan only plant und ändert nichts. Pläne überstehen Neustarts.
- Cronführt einen Prompt nach einem Zeitplan aus, den du festlegst, zum Beispiel einen wöchentlichen Lauf, der eine Zeile an deine Ergebnisdatei anhängt.
- ModelleVerbinde einen Cloud-KI-Anbieter über einen Standard-API-Endpunkt, ein lokal auf deinem PC laufendes Modell oder das integrierte Modell.
Wo die Arbeit stattfindet
Die App läuft auf deinem Windows-PC in einem einzigen Arbeitsordner. Ein Befehl, der einen anderen Rechner erreicht, ist einer, den du verlangt hast, auf einem Rechner, der dir gehört oder den du testen darfst.
Schreibe bench.py, führe es auf diesem Rechner aus und speichere den Median mit dem Datum in results.csv.
- write_file
bench.pygespeichert - Shell
systeminfoexit 0 - write_file
system.txtgespeichert - Shell
python bench.pyexit 0 - append_file
results.csvZeile hinzugefügt - read_file
results.csvgelesen - edit_file
notes.mdDiff angezeigt
Warte auf dein OK vor dem nächsten SchrittAblehnenAnnehmen
Zwei Aufgaben, Schritt für Schritt
Lege eine Ausgangsbasis für einen Homelab-Rechner fest
Bevor du einen Homelab-Rechner für Benchmarks abstimmst, nimm eine Ausgangsbasis auf: Bitte den Agenten, dein Benchmark-Skript zuerst auf dem unveränderten Rechner auszuführen. Shell führt es aus und meldet den Exitcode, write_file speichert die Ausgabe als baseline.txt, und append_file hängt den Median an results.csv an. Ändere eine Einstellung, bitte um denselben Lauf noch einmal, und der Agent zeigt beide Zeilen nebeneinander. Immer nur eine Änderung. Lies den Plan im Modus Plan only, bevor etwas läuft, wechsle dann zu Ask first, damit jeder Schreibvorgang auf dein OK wartet, und vergleiche die Mediane selbst, bevor du die Änderung behältst.
Einen gemieteten VPS von deinem eigenen PC aus prüfen
Für den Benchmark eines VPS, den du mietest, brauchen Festplatte und Netzwerk getrennte Tests, weil jeder einen anderen Teil des Rechners misst. Prüfe vorher die Testbedingungen des Anbieters. Von deinem PC aus führt Shell ping -n 20 gefolgt von der Adresse deines VPS aus, und write_file speichert die Laufzeiten als latency.txt. Den Festplattentest führst du selbst auf dem VPS aus, außerhalb von BenchQuorum, mit deinem eigenen Befehl. Netzwerk- und CPU-Ergebnisse eines VPS bedeuten nur etwas zusammen mit dem Tarif, der Tageszeit und den Einstellungen, die du festgehalten hast. Halte den Datenverkehr klein und kurz und prüfe jeden Wert anhand der Konsolenausgabe.
Was BenchQuorum nicht tut
BenchQuorum ist kein gehosteter Dienst und kein Plugin für ein anderes Programm. Es ist nur für deine eigenen Dateien, deinen PC und Rechner gedacht, die du nutzen darfst. Richte es daher nicht auf Systeme, Konten oder Daten, die dir nicht gehören. Es kann nicht garantieren, dass Code, Messungen oder Analysen korrekt sind, deshalb prüfst du jeden Diff.
