Подключите ИИ-модель к BenchQuorum
BenchQuorum нужна модель, чтобы планировать шаги и писать файлы. Вы выбираете, где эта модель работает: у облачного провайдера ИИ через стандартную конечную точку API, на вашем собственном ПК или как встроенная модель. От этого выбора зависит, какой текст покидает вашу машину.
Три способа подключить модель
Облачный провайдер ИИ
Облачный провайдер ИИ подходит для сложной многошаговой работы, и вы подключаете его через стандартную конечную точку API со своим ключом. Ваш ключ остаётся локальным. Ваши промпты уходят к этому провайдеру, поэтому не вставляйте ничего с машины, которой вам нельзя делиться, и помните, что провайдер может брать отдельную плату за использование.
Модель на вашем ПК
Модель, работающая локально на вашем ПК, подходит для закрытой работы и для машин без доступа в интернет. С локальной моделью ничего не покидает машину, потому что промпты никогда не доходят до другой конечной точки. Взамен вы платите оборудованием: маленькой модели может понадобиться больше вашей проверки, а большой нужен ПК, который её потянет.
Встроенная модель
Встроенной модели не нужна настройка конечной точки, поэтому с неё удобно начинать, если у вас ещё нет провайдера. Начните с малого. Вы всё равно проверяете каждый предложенный diff и каждую команду, прежде чем принять, точно так же, как с облачной или локальной моделью, ведь качество моделей разное и ничто не верно по умолчанию.
Нажмите Test перед началом
Кнопка Test проверяет введённую конечную точку. Она показывает время ответа и окно контекста — сколько текста модель удерживает одновременно. Медленный ответ или маленькое окно заранее подскажут, что длинный скрипт и длинный файл результатов могут не поместиться.
Подбирайте модель под шаг
Берите более крупную модель для рефакторинга и логики, затрагивающей несколько файлов, а более мелкую — для небольших правок, например исправить одну строку в bench.py или добавить столбец в results.csv. Размер должен соответствовать задаче. Когда трудный только один шаг, run_on_model отправляет именно этот шаг более крупной модели, а остальной чат остаётся на мелкой.
Качество у моделей разное, поэтому читайте каждый diff. Ask first останавливается перед каждым изменением, и у вас есть время сверить команду или правку файла с числами, которые вы измерили. Никогда не принимайте результат, который вы не просмотрели.
