Pisze skrypt
write_file i edit_file tworzą i poprawiają Twój skrypt benchmarku, a każda zmiana pojawia się jako diff.
Produkt
Skrypty, uruchomienia i logi server benchmark dla maszyn, które należą do Ciebie
01
Server benchmark to stała porcja pracy, którą uruchamiasz na maszynie należącej do Ciebie lub takiej, którą wolno Ci testować, za każdym razem z tymi samymi ustawieniami, żeby dwa wyniki można było uczciwie porównać. BenchQuorum pisze skrypt, uruchamia go w powłoce i zapisuje tylko liczby, które zostały zmierzone. Zakres zostaje po Twojej stronie.
Uruchamia Twoje polecenie
Shell uruchamia Twoje polecenie testowe i zgłasza prawdziwy kod wyjścia, więc widzisz, kiedy uruchomienie się nie powiodło.
Czyta liczby
read_file i grep zbierają liczby z zapisanych plików wyników, a agent buduje tabelę uruchomień.
Co potrafi agent
- Plikiread_file, write_file, append_file, edit_file, delete_file, make_dir, move_file, copy_file, list_dir, grep i glob działają w folderze roboczym czatu, z licznikiem utworzonych, edytowanych i odczytanych plików.
- Shelluruchamia polecenia terminala, takie jak Twoje polecenie testowe lub systeminfo, i ocenia sukces po prawdziwym kodzie wyjścia. Niebezpieczne polecenia są blokowane.
- Siećweb_search znajduje strony, a http_get czyta jedną stronę dokumentacji, na przykład instrukcję Twojego sprzętu.
- Zrzuty ekranu i obrazyocr czyta tekst ze zrzutu ekranu, na przykład z ekranu ustawień lub okna wyników, a gen_image zapisuje prawdziwe pliki obrazów.
- Orkiestracjatask uruchamia równoległych podagentów do osobnych kontroli, run_on_model wysyła trudny krok do większego modelu, a skill przechowuje wielokrotnego użytku scenariusze.
- Tryby zatwierdzaniaAuto-run działa od razu, Ask first zatrzymuje się przed każdą akcją, która coś zmienia, a Plan only planuje i niczego nie zmienia. Plany przetrwają restart.
- Cronuruchamia prompt według ustawionego przez Ciebie harmonogramu, na przykład cotygodniowe uruchomienie, które dopisuje jeden wiersz do pliku wyników.
- Modelepodłącz dostawcę AI w chmurze przez standardowy punkt końcowy API, model działający lokalnie na Twoim PC albo model wbudowany.
Gdzie odbywa się praca
Aplikacja działa na Twoim PC z Windows w jednym folderze roboczym. Polecenie, które sięga do innej maszyny, to polecenie, o które poprosiłeś, na maszynie należącej do Ciebie lub takiej, którą wolno Ci testować.
Napisz bench.py, uruchom go na tej maszynie i zapisz medianę z datą w results.csv.
- write_file
bench.pyzapisano - Shell
systeminfoexit 0 - write_file
system.txtzapisano - Shell
python bench.pyexit 0 - append_file
results.csvdodano wiersz - read_file
results.csvodczytano - edit_file
notes.mdpokazano diff
Czekam na Twoje OK przed następnym krokiemOdrzućZaakceptuj
Dwa zadania, krok po kroku
Ustal punkt odniesienia dla maszyny w homelabie
Zanim zaczniesz stroić maszynę z homelabu pod benchmarki, zrób punkt odniesienia: poproś agenta, żeby najpierw uruchomił Twój skrypt benchmarku na nietkniętej maszynie. Shell uruchamia go i zgłasza kod wyjścia, write_file zapisuje wynik jako baseline.txt, a append_file dopisuje medianę do results.csv. Zmień jedno ustawienie, poproś o to samo uruchomienie jeszcze raz, a agent pokaże oba wiersze obok siebie. Jedna zmiana naraz. Przeczytaj plan w trybie Plan only, zanim cokolwiek ruszy, potem przełącz na Ask first, żeby każdy zapis pliku czekał na Twoje OK, i sam porównaj mediany, zanim zachowasz zmianę.
Sprawdź wynajmowany VPS z własnego PC
Do benchmarku wynajmowanego VPS dysk i sieć wymagają osobnych testów, bo każdy mierzy inną część maszyny. Najpierw sprawdź warunki dostawcy dotyczące testów. Z Twojego PC Shell uruchamia ping -n 20 z adresem Twojego VPS, a write_file zapisuje czasy podróży w obie strony jako latency.txt. Test dysku uruchamiasz sam na VPS, poza BenchQuorum, własnym poleceniem. Wyniki sieci i procesora VPS mają sens tylko razem z planem, porą dnia i ustawieniami, które zapisałeś. Utrzymuj mały i krótki ruch oraz sprawdzaj każdą liczbę z wynikiem w konsoli.
Czego BenchQuorum nie robi
BenchQuorum nie jest usługą hostowaną ani wtyczką do innego programu. Jest przeznaczony wyłącznie do Twoich plików, Twojego PC i maszyn, do których masz uprawnienia, więc nie kieruj go na systemy, konta ani dane, które nie należą do Ciebie. Nie może zagwarantować, że kod, pomiary lub analiza są poprawne, dlatego sprawdzasz każdy diff.
