自分のマシンのためのserver benchmarkスクリプト、実行、ログ

エージェントにできること

• ファイルread_file、write_file、append_file、edit_file、delete_file、make_dir、move_file、copy_file、list_dir、grep、globが、チャットの作業フォルダー内で動作します。作成・編集・読み取りしたファイル数のカウンター付きです。
• Shellテストコマンドやsysteminfoなどのターミナルコマンドを実行し、実際の終了コードで成否を判断します。危険なコマンドはブロックされます。
• Webweb_searchがページを検索し、http_getが1つのドキュメントページ（たとえばお使いのハードウェアのマニュアル）を読み取ります。
• スクリーンショットと画像ocrが設定画面や結果ウィンドウなどのスクリーンショットから文字を読み取り、gen_imageが実際の画像ファイルを保存します。
• オーケストレーションtaskが個別の確認のために並列のサブエージェントを起動し、run_on_modelが難しい1ステップをより大きなモデルに任せ、skillが再利用できる手順書を保存します。
• 承認モードAuto-runはすぐに実行し、Ask firstは何かを変更するすべての操作の前で止まり、Plan onlyは計画だけを立てて何も変更しません。計画は再起動しても残ります。
• Cron決めたスケジュールでプロンプトを実行します。たとえば、結果ファイルに毎週1行を追加する週次の実行です。
• モデル標準的なAPIエンドポイント経由のクラウドAIプロバイダー、PC上で動くローカルモデル、または内蔵モデルを接続します。

2つのタスクを順番に

ホームラボのマシンでベースラインを取る

ベンチマークのためにホームラボのマシンをチューニングする前に、ベースラインを取ります。まず手を加えていないマシンでベンチマークスクリプトを実行するよう、エージェントに頼んでください。Shellがそれを実行して終了コードを報告し、write_fileが出力をbaseline.txtとして保存し、append_fileが中央値をresults.csvに追加します。設定を1つだけ変えて、同じ実行をもう一度頼むと、エージェントが2つの行を並べて表示します。変更は一度に1つだけです。何かを実行する前にPlan onlyモードで計画を読み、その後Ask firstに切り替えて、ファイルの書き込みのたびにOKを待つようにします。変更を残す前に、中央値は自分で比べてください。

レンタルしたVPSを自分のPCから確認する

レンタルしたVPSをベンチマークするには、ディスクとネットワークを別々にテストします。それぞれがマシンの別の部分を測るからです。まず、テストについてのプロバイダーの利用規約を確認してください。自分のPCから、ShellがVPSのアドレスを付けてping -n 20を実行し、write_fileが往復時間をlatency.txtとして保存します。ディスクのテストは、BenchQuorumの外で、自分のコマンドを使ってVPS上で自分で実行します。VPSのネットワークとCPUのテスト結果は、記録したプラン、時間帯、設定とあわせて初めて意味を持ちます。トラフィックは小さく短くし、すべての数値をコンソールの出力と照らし合わせてください。