Betiği yazar
write_file ve edit_file benchmark betiğini oluşturur ve düzenler, her değişiklik diff olarak görünür.
Ürün
Server benchmark: kendi makinelerin için betik, çalıştırma ve kayıt
01
Server benchmark, sahibi olduğun veya test etmene izin verilen bir makinede her seferinde aynı ayarlarla çalıştırdığın sabit bir iştir; böylece iki sonuç adil karşılaştırılır. BenchQuorum betiği yazar, shell'de çalıştırır ve yalnızca ölçülen sayıları kaydeder. Kapsam sende kalır.
Komutunu çalıştırır
Shell test komutunu çalıştırır ve gerçek çıkış kodunu bildirir; böylece bir çalıştırmanın ne zaman başarısız olduğunu görürsün.
Sayıları okur
read_file ve grep kayıtlı sonuç dosyalarından sayıları toplar, ajan da çalıştırmaların bir tablosunu oluşturur.
Ajan neler yapabilir
- Dosyalarread_file, write_file, append_file, edit_file, delete_file, make_dir, move_file, copy_file, list_dir, grep ve glob sohbetin çalışma klasöründe çalışır; oluşturulan, düzenlenen ve okunan dosyaların bir sayacı vardır.
- Shelltest komutun veya systeminfo gibi terminal komutlarını çalıştırır ve başarıyı gerçek çıkış koduna bakarak değerlendirir. Tehlikeli komutlar engellenir.
- Webweb_search sayfaları bulur, http_get tek bir belge sayfasını okur; örneğin kendi donanımının kılavuzunu.
- Ekran görüntüleri ve görsellerocr bir ekran görüntüsündeki metni, örneğin bir ayar ekranını veya sonuç penceresini okur; gen_image gerçek görsel dosyaları kaydeder.
- Orkestrasyontask ayrı kontroller için paralel alt ajanlar başlatır, run_on_model zor bir adımı daha büyük bir modele gönderir, skill yeniden kullanılabilir yönergeleri saklar.
- Onay modlarıAuto-run hemen eylem yapar, Ask first bir şeyi değiştiren her eylemden önce durur, Plan only yalnızca plan yapar ve hiçbir şeyi değiştirmez. Planlar yeniden başlatmalardan sağ çıkar.
- Cronbir istemi belirlediğin takvimde çalıştırır; örneğin sonuç dosyana her hafta bir satır ekleyen haftalık bir çalıştırma.
- Modellerstandart bir API uç noktası üzerinden bulut yapay zekâ sağlayıcısı, PC'nde yerel çalışan bir model veya yerleşik model bağla.
İş nerede yapılır
Uygulama Windows PC'nde tek bir çalışma klasörünün içinde çalışır. Başka bir makineye ulaşan komut senin istediğin bir komuttur ve o makine sana ait olmalı ya da test etmene izin verilmiş olmalıdır.
bench.py yaz, bu makinede çalıştır ve medyanı tarihle birlikte results.csv'ye kaydet.
- write_file
bench.pykaydedildi - Shell
systeminfoexit 0 - write_file
system.txtkaydedildi - Shell
python bench.pyexit 0 - append_file
results.csvsatır eklendi - read_file
results.csvokundu - edit_file
notes.mddiff gösterildi
Sonraki adımdan önce onayını bekliyorReddetKabul et
İki görev, adım adım
Bir ev laboratuvarı makinesi için temel değer belirle
Bir ev laboratuvarı makinesini benchmark için ayarlamadan önce temel değeri al: ajandan önce benchmark betiğini dokunulmamış makinede çalıştırmasını iste. Shell onu çalıştırır ve çıkış kodunu bildirir, write_file çıktıyı baseline.txt olarak kaydeder, append_file medyanı results.csv'ye ekler. Tek bir ayarı değiştir, aynı çalıştırmayı yeniden iste; ajan iki satırı yan yana gösterir. Bir seferde tek değişiklik. Bir şey çalışmadan önce planı Plan only modunda oku, sonra her dosya yazımı onayını beklesin diye Ask first moduna geç ve değişikliği tutmadan önce medyanları kendin karşılaştır.
Kiraladığın bir VPS'i kendi PC'nden kontrol et
Kiraladığın bir VPS'i test etmek için disk ve ağ ayrı testler ister; çünkü her biri makinenin farklı bir parçasını ölçer. Önce sağlayıcının test koşullarına bak. PC'nden Shell, VPS adresinle birlikte ping -n 20 komutunu çalıştırır ve write_file gidiş-dönüş sürelerini latency.txt olarak kaydeder. Disk testini BenchQuorum dışında, VPS üzerinde kendi komutunla kendin çalıştırırsın. VPS ağ ve işlemci testi sonuçları ancak kaydettiğin plan, günün saati ve ayarlarla birlikte anlam taşır. Trafiği küçük ve kısa tut, her sayıyı konsol çıktısıyla karşılaştır.
BenchQuorum neler yapmaz
BenchQuorum barındırılan bir hizmet ya da başka bir programın eklentisi değildir. Yalnızca kendi dosyaların, PC'n ve kullanma yetkin olan makineler için tasarlanmıştır; bu yüzden onu sahibi olmadığın sistemlere, hesaplara veya verilere yöneltme. Kodun, ölçümlerin veya analizin doğru olduğunu garanti edemez, bu yüzden her diff'i sen incelersin.
