Підключіть ШІ-модель до BenchQuorum
BenchQuorum потрібна модель, щоб планувати кроки й писати файли. Де ця модель працює, обираєте ви: хмарний ШІ-провайдер через стандартну кінцеву точку API, модель на вашому ПК або вбудована модель. Від вибору залежить, який текст залишає вашу машину.
Три способи підключити модель
Хмарний ШІ-провайдер
Хмарний ШІ-провайдер підходить для складної багатокрокової роботи, і ви підключаєте його через стандартну кінцеву точку API зі своїм ключем. Ключ лишається локально. Ваші запити надходять до цього провайдера, тож не вставляйте нічого з машини, до якої не слід комусь передавати доступ, і пам'ятайте, що провайдер може окремо брати плату за користування.
Модель на вашому ПК
Локальна модель на вашому ПК підходить для приватної роботи та машин без доступу до інтернету. З локальною моделлю ніщо не залишає машину, бо запити не потрапляють до іншої кінцевої точки. Плата за це — обладнання: невелика модель може потребувати від вас ретельнішої перевірки, а велика вимагає ПК, який її потягне.
Вбудована модель
Вбудована модель не потребує налаштування кінцевої точки, тож з неї зручно почати, поки в вас немає провайдера. Починайте з малого. Ви все одно перевіряєте кожен diff, який вона пропонує, і кожну команду, перш ніж прийняти, достеменно як із хмарною чи локальною моделлю, бо якість моделей різна, а правильного «за замовчуванням» немає.
Натисніть Test перед початком
Кнопка Test перевіряє кінцеву точку, яку ви ввели. Вона показує час відповіді та контекстне вікно — скільки тексту модель може тримати одночасно. Повільна відповідь або мале вікно одразу підкажуть, що довгий скрипт і довгий файл результатів можуть не вміститися.
Підбирайте модель під крок
Для рефакторингу та логіки, що охоплює кілька файлів, беріть більшу модель, а для дрібних правок — меншу, наприклад виправити один рядок у bench.py або додати стовпець у results.csv. Розмір має відповідати завданню. Коли один крок складний, run_on_model віддає лише його більшій моделі, а решта чату лишається на меншій.
Якість моделей різна, тому читайте кожен diff. Ask first робить паузу перед кожною зміною, і ви встигаєте звірити команду чи правку файлу з виміряними числами. Ніколи не приймайте результат, якого ви не переглянули.
