Píše skript
write_file a edit_file vytvářejí a upravují tvůj benchmarkový skript a každá změna se zobrazí jako diff.
Produkt
Skripty, běhy a logy server benchmark pro stroje, které vlastníš
01
Server benchmark je pevná úloha, kterou spouštíš na stroji, který vlastníš nebo smíš testovat, pokaždé se stejným nastavením, aby se dva výsledky daly férově porovnat. BenchQuorum napíše skript, spustí ho v shellu a zapíše jen čísla, která byla naměřena. Rozsah zůstává na tobě.
Spouští tvůj příkaz
Shell spustí tvůj testovací příkaz a ohlásí skutečný návratový kód, takže vidíš, kdy běh selhal.
Čte čísla
read_file a grep sbírají čísla z uložených souborů s výsledky a agent z běhů sestaví tabulku.
Co agent umí
- Souboryread_file, write_file, append_file, edit_file, delete_file, make_dir, move_file, copy_file, list_dir, grep a glob pracují uvnitř pracovní složky chatu, s počítadlem vytvořených, upravených a přečtených souborů.
- Shellspouští příkazy terminálu, například tvůj testovací příkaz nebo systeminfo, a úspěch posuzuje podle skutečného návratového kódu. Nebezpečné příkazy jsou blokovány.
- Webweb_search najde stránky a http_get přečte jednu stránku dokumentace, například příručku k tvému vlastnímu hardwaru.
- Snímky obrazovky a obrázkyocr přečte text ze snímku obrazovky, například obrazovky nastavení nebo okna s výsledky, a gen_image uloží skutečné soubory obrázků.
- Orchestracetask spouští paralelní podagenty pro oddělené kontroly, run_on_model pošle těžký krok většímu modelu a skill ukládá znovupoužitelné postupy.
- Režimy schvalováníAuto-run jedná hned, Ask first se zastaví před každou akcí, která něco mění, a Plan only plánuje a nic nemění. Plány přežijí restart.
- Cronspouští prompt podle plánu, který nastavíš, například týdenní běh, který přidá jeden řádek do souboru s výsledky.
- Modelypřipoj cloudového poskytovatele AI přes standardní koncový bod API, model běžící lokálně na tvém PC nebo vestavěný model.
Kde se práce odehrává
Aplikace běží na tvém PC s Windows v jedné pracovní složce. Příkaz, který zasáhne jiný stroj, je příkaz, o který jsi požádal, na stroji, který vlastníš nebo smíš testovat.
Napiš bench.py, spusť ho na tomto stroji a ulož medián s datem do results.csv.
- write_file
bench.pyuloženo - Shell
systeminfoexit 0 - write_file
system.txtuloženo - Shell
python bench.pyexit 0 - append_file
results.csvřádek přidán - read_file
results.csvpřečteno - edit_file
notes.mddiff zobrazen
Čekám na tvé OK před dalším krokemZamítnoutPřijmout
Dva úkoly krok za krokem
Stanov výchozí hodnoty pro stroj v homelabu
Než stroj z homelabu doladíš pro benchmarky, změř výchozí stav: požádej agenta, aby nejdřív spustil tvůj benchmarkový skript na nedotčeném stroji. Shell ho spustí a ohlásí návratový kód, write_file uloží výstup jako baseline.txt a append_file přidá medián do results.csv. Změň jedno nastavení, požádej o stejný běh znovu a agent ukáže oba řádky vedle sebe. Vždy jedna změna. Přečti si plán v režimu Plan only, než se cokoli spustí, pak přepni na Ask first, aby každý zápis souboru čekal na tvé OK, a mediány si porovnej sám, než změnu necháš.
Zkontroluj pronajatý VPS z vlastního PC
Pro benchmark pronajatého VPS potřebují disk a síť samostatné testy, protože každý měří jinou část stroje. Nejdřív se podívej na podmínky poskytovatele ohledně testování. Z tvého PC Shell spustí ping -n 20 s adresou tvého VPS a write_file uloží doby odezvy tam a zpět jako latency.txt. Test disku spustíš sám na VPS, mimo BenchQuorum, vlastním příkazem. Výsledky sítě a procesoru u VPS něco znamenají jen vedle tarifu, denní doby a nastavení, které jsi zapsal. Provoz drž malý a krátký a každé číslo ověř podle výstupu konzole.
Co BenchQuorum nedělá
BenchQuorum není hostovaná služba ani zásuvný modul jiného programu. Je určen jen pro tvé vlastní soubory, tvůj PC a stroje, které smíš používat, proto ho nesměřuj na systémy, účty ani data, která nevlastníš. Nemůže zaručit, že kód, měření nebo analýza jsou správné, proto kontroluješ každý diff.
