BenchQuorum에 AI 모델 연결하기

BenchQuorum은 단계를 계획하고 파일을 쓰기 위해 모델이 필요해요. 그 모델을 어디서 실행할지는 여러분이 정해요. 표준 API 엔드포인트를 통한 클라우드 AI 제공업체, 내 PC의 모델, 내장 모델 중에서 고르면 돼요. 이 선택에 따라 어떤 텍스트가 내 컴퓨터를 떠날지 달라져요.

모델을 연결하는 세 가지 방법

클라우드 AI 제공업체

클라우드 AI 제공업체는 어려운 다단계 작업에 알맞고, 내 키로 표준 API 엔드포인트를 통해 연결해요. 키는 로컬에 남아요. 프롬프트는 그 제공업체로 가므로, 공유하면 안 되는 컴퓨터의 내용은 붙여넣지 마세요. 제공업체가 사용료를 따로 청구할 수 있다는 점도 기억하세요.

내 PC의 모델

내 PC에서 로컬로 실행되는 모델은 개인적인 작업과 인터넷이 없는 컴퓨터에 알맞아요. 로컬 모델에서는 프롬프트가 다른 엔드포인트에 닿지 않으니 아무것도 컴퓨터를 떠나지 않아요. 대신 하드웨어가 필요해요. 작은 모델은 여러분의 검토가 더 필요할 수 있고, 큰 모델은 그것을 돌릴 수 있는 PC가 필요해요.

내장 모델

내장 모델은 엔드포인트 설정이 필요 없어서, 아직 제공업체가 없을 때 시작하기 좋아요. 작게 시작하세요. 클라우드나 로컬 모델과 똑같이, 제안하는 모든 diff와 명령을 수락하기 전에 검토하세요. 모델 품질은 제각각이고, 기본적으로 맞는 것은 아무것도 없으니까요.

시작하기 전에 Test를 누르세요

Test 버튼은 입력한 엔드포인트를 확인해요. 응답 시간과 컨텍스트 윈도우를 보여 주는데, 컨텍스트 윈도우는 모델이 한 번에 담을 수 있는 텍스트의 양이에요. 응답이 느리거나 윈도우가 작으면 긴 스크립트와 긴 결과 파일이 들어가지 않을 수 있다는 걸 일찍 알 수 있어요.

단계에 맞는 모델 고르기

여러 파일에 걸친 리팩터링과 로직에는 더 큰 모델을, bench.py의 한 줄을 고치거나 results.csv에 열을 추가하는 것 같은 작은 수정에는 더 작은 모델을 쓰세요. 크기는 작업에 맞춰야 해요. 한 단계만 어려울 때는 run_on_model이 그 단계만 더 큰 모델에 보내서, 나머지 채팅은 작은 모델에 남아 있어요.

모델마다 품질이 다르니 모든 diff를 읽으세요. Ask first는 변경마다 멈춰서, 명령이나 파일 수정을 측정한 숫자와 맞춰 볼 시간을 줘요. 확인하지 않은 결과는 절대 수락하지 마세요.