Conecte um modelo de IA ao BenchQuorum

O BenchQuorum precisa de um modelo para planejar seus passos e escrever arquivos. Você escolhe onde esse modelo roda: um provedor de IA na nuvem por um endpoint de API padrão, um modelo no seu próprio PC ou o modelo integrado. A escolha decide qual texto sai da sua máquina.

Três formas de conectar um modelo

Um provedor de IA na nuvem

Um provedor de IA na nuvem serve para trabalhos difíceis de vários passos, e você o conecta por um endpoint de API padrão com a sua própria chave. Sua chave fica local. Seus prompts vão para esse provedor, então não cole nada de uma máquina que você não possa compartilhar, e lembre que o provedor pode cobrar à parte pelo uso.

Um modelo no seu próprio PC

Um modelo rodando localmente no seu PC serve para trabalho privado e para máquinas sem acesso à internet. Com um modelo local nada sai da máquina, porque os prompts nunca chegam a outro endpoint. A contrapartida é o hardware: um modelo pequeno pode exigir mais revisão sua, e um grande precisa de um PC capaz de rodá-lo.

O modelo integrado

O modelo integrado dispensa a configuração de endpoint, o que o torna um bom ponto de partida quando você ainda não tem provedor. Comece pequeno. Você ainda revisa cada diff que ele propõe e cada comando antes de aceitar, exatamente como com um modelo na nuvem ou local, porque a qualidade dos modelos varia e nada é correto por padrão.

Clique em Test antes de começar

O botão Test verifica o endpoint que você informou. Ele mostra o tempo de resposta e a janela de contexto, que é quanto texto o modelo consegue manter de uma vez. Uma resposta lenta ou uma janela pequena avisa logo de início que um script longo e um arquivo de resultados longo talvez não caibam.

Combine o modelo com a etapa

Use um modelo maior para refatorações e lógica que atravessa vários arquivos, e um menor para edições pequenas, como corrigir uma linha do bench.py ou adicionar uma coluna ao results.csv. O tamanho deve acompanhar a tarefa. Quando uma única etapa é difícil, o run_on_model envia só essa etapa a um modelo maior, e o resto do chat continua no menor.

A qualidade varia entre modelos, então leia cada diff. O Ask first pausa antes de cada mudança, o que dá a você um momento para conferir um comando ou uma edição de arquivo com os números que mediu. Nunca aceite um resultado que você não olhou.