BenchQuorumにAIモデルを接続する

BenchQuorumは、手順を計画しファイルを書くためにモデルを必要とします。そのモデルをどこで動かすかは、あなたが選びます。標準的なAPIエンドポイント経由のクラウドAIプロバイダー、自分のPC上のモデル、または内蔵モデルです。この選択によって、どのテキストがマシンの外に出るかが決まります。

モデルを接続する3つの方法

クラウドAIプロバイダー

クラウドAIプロバイダーは、難しい複数ステップの作業に向いており、自分のキーを使って標準的なAPIエンドポイント経由で接続します。キーはローカルに残ります。プロンプトはそのプロバイダーに送られるので、共有してはいけないマシンの内容は貼り付けないでください。また、プロバイダーが利用料金を別途請求する場合があることにも注意してください。

自分のPC上のモデル

PC上で動くローカルモデルは、プライベートな作業やインターネットに接続できないマシンに向いています。ローカルモデルなら、プロンプトが他のエンドポイントに届くことはないので、何もマシンの外に出ません。引き換えに必要なのがハードウェアです。小さなモデルはあなたによる確認がより多く必要になることがあり、大きなモデルは動かせるPCが必要です。

内蔵モデル

内蔵モデルはエンドポイントの設定が不要なので、まだプロバイダーがないときの出発点になります。小さく始めましょう。クラウドやローカルのモデルと同じく、提案されたdiffとコマンドは承認する前にすべて確認します。モデルの品質はさまざまで、初期状態で正しいものは何もないからです。

開始前にTestを押す

Testボタンは入力したエンドポイントを確認します。応答時間と、モデルが一度に保持できるテキスト量であるコンテキストウィンドウを表示します。応答が遅い、またはウィンドウが小さい場合は、長いスクリプトや長い結果ファイルが収まらないかもしれないと、早い段階で分かります。

ステップに合わせてモデルを選ぶ

複数ファイルにまたがるリファクタリングやロジックには大きなモデルを、bench.pyの1行を直す、results.csvに列を追加するといった小さな編集には小さなモデルを使います。サイズはタスクに合わせましょう。1つのステップだけが難しいときは、run_on_modelがそのステップだけを大きなモデルに送るので、チャットの残りは小さなモデルのままです。

モデルによって品質が違うので、すべてのdiffを読んでください。Ask firstは変更のたびに止まり、コマンドやファイル編集を測定した数値と突き合わせる時間が持てます。確認していない結果は、決して承認しないでください。