Пише скрипт
write_file та edit_file створюють і правлять ваш скрипт бенчмарка, а кожна зміна з'являється як diff.
Продукт
Server benchmark: скрипти, запуски й журнали для ваших машин
01
Server benchmark — це фіксований обсяг роботи, який ви запускаєте на машині, що належить вам або на тестування якої у вас є дозвіл, щоразу з однаковими налаштуваннями, щоб два результати можна було чесно порівняти. BenchQuorum пише скрипт, запускає його в shell і записує лише виміряні числа. Межі дозволеного визначаєте ви.
Запускає вашу команду
Shell запускає вашу тестову команду й повідомляє справжній код завершення, тож ви бачите, коли запуск провалився.
Читає числа
read_file та grep збирають числа із збережених файлів результатів, а агент складає таблицю запусків.
Що вміє агент
- Файлиread_file, write_file, append_file, edit_file, delete_file, make_dir, move_file, copy_file, list_dir, grep і glob працюють у робочій теці чату, а лічильник показує, скільки файлів створено, змінено й прочитано.
- Shellвиконує команди терміналу, як-от вашу тестову команду чи systeminfo, і оцінює успіх за справжнім кодом завершення. Небезпечні команди блокуються.
- Вебресурсиweb_search знаходить сторінки, а http_get читає одну сторінку документації, наприклад посібник до вашого обладнання.
- Скриншоти й зображенняocr читає текст зі скриншота, наприклад екрана налаштувань чи вікна результатів, а gen_image зберігає справжні файли зображень.
- Оркестраціяtask запускає паралельних субагентів для окремих перевірок, run_on_model віддає складний крок більшій моделі, а skill зберігає багаторазові сценарії.
- Режими підтвердженняAuto-run діє одразу, Ask first робить паузу перед кожною дією, що щось змінює, а Plan only лише планує й нічого не змінює. Плани переживають перезапуск.
- Cronзапускає запит за розкладом, який ви задали, наприклад щотижневий запуск, що додає один рядок до файлу результатів.
- Моделіпідключіть хмарного ШІ-провайдера через стандартну кінцеву точку API, модель, що працює локально на вашому ПК, або вбудовану модель.
Де відбувається робота
Застосунок працює на вашому ПК з Windows в одній робочій теці. Команда, що звертається до іншої машини, — це команда, яку ви самі попросили, і машина має належати вам або ви маєте право її тестувати.
Напиши bench.py, запусти його на цій машині та збережи медіану з датою в results.csv.
- write_file
bench.pyзбережено - Shell
systeminfoexit 0 - write_file
system.txtзбережено - Shell
python bench.pyexit 0 - append_file
results.csvрядок додано - read_file
results.csvпрочитано - edit_file
notes.mdпоказано diff
Чекаю на ваше OK перед наступним крокомВідхилитиПрийняти
Два завдання крок за кроком
Зніміть базовий рівень домашньої машини
Перш ніж налаштовувати домашню машину для бенчмарків, зніміть базовий рівень: попросіть агента спершу запустити ваш скрипт на нетронутій машині. Shell запускає його й повідомляє код завершення, write_file зберігає вивід як baseline.txt, а append_file додає медіану до results.csv. Змініть одне налаштування, попросіть той самий запуск ще раз — і агент покаже обидва рядки поруч. Лише одна зміна за раз. Прочитайте план у режимі Plan only, перш ніж щось запуститься, потім перейдіть на Ask first, щоб кожен запис файлу чекав на ваше OK, і самі порівняйте медіани, перш ніж залишити зміну.
Перевірте орендований VPS зі свого ПК
Щоб перевірити орендований VPS, диск і мережу треба тестувати окремо, бо кожен тест вимірює іншу частину машини. Спершу прочитайте умови провайдера щодо тестування. З вашого ПК Shell виконує ping -n 20 з адресою вашого VPS, а write_file зберігає час відгуку як latency.txt. Тест диска ви запускаєте самі на VPS, поза BenchQuorum, своєю командою. Результати тестів мережі й процесора на VPS мають сенс лише поруч із тарифом, часом доби та налаштуваннями, які ви записали. Тримайте трафік малим і коротким, а кожне число звіряйте з виводом консолі.
Чого BenchQuorum не робить
BenchQuorum — не хмарний сервіс і не плагін до іншої програми. Він призначений лише для ваших власних файлів, вашого ПК і машин, які ви маєте право використовувати, тож не спрямовуйте його на системи, акаунти чи дані, що вам не належать. Він не може гарантувати, що код, вимірювання чи аналіз правильні, тому кожен diff ви перевіряєте самі.
