Kết nối mô hình AI với BenchQuorum
BenchQuorum cần một mô hình để lập kế hoạch các bước và viết tệp. Bạn chọn mô hình đó chạy ở đâu: nhà cung cấp AI đám mây qua endpoint API chuẩn, mô hình trên chính PC của bạn, hoặc mô hình tích hợp sẵn. Lựa chọn này quyết định văn bản nào rời khỏi máy của bạn.
Ba cách kết nối mô hình
Nhà cung cấp AI đám mây
Nhà cung cấp AI đám mây phù hợp với công việc khó, nhiều bước, và bạn kết nối nó qua endpoint API chuẩn bằng khóa của riêng bạn. Khóa của bạn ở lại cục bộ. Câu lệnh của bạn được gửi tới nhà cung cấp đó, nên đừng dán bất cứ thứ gì từ một máy mà bạn không được chia sẻ, và lưu ý rằng nhà cung cấp có thể tính phí sử dụng riêng.
Mô hình trên chính PC của bạn
Mô hình chạy cục bộ trên PC của bạn phù hợp với công việc riêng tư và những máy không có internet. Với mô hình cục bộ, không có gì rời khỏi máy, vì câu lệnh không bao giờ tới endpoint khác. Đổi lại là phần cứng: mô hình nhỏ có thể cần bạn xem xét nhiều hơn, còn mô hình lớn cần một PC đủ sức chạy nó.
Mô hình tích hợp sẵn
Mô hình tích hợp sẵn không cần thiết lập endpoint, nên là chỗ bắt đầu hợp lý khi bạn chưa có nhà cung cấp. Hãy bắt đầu nhỏ. Bạn vẫn xem xét mọi diff nó đề xuất và mọi lệnh trước khi chấp nhận, y như với mô hình đám mây hay cục bộ, vì chất lượng mô hình khác nhau và không có gì đúng theo mặc định.
Bấm Test trước khi bắt đầu
Nút Test kiểm tra endpoint bạn đã nhập. Nó hiển thị thời gian phản hồi và cửa sổ ngữ cảnh, tức lượng văn bản mô hình có thể giữ cùng lúc. Phản hồi chậm hoặc cửa sổ nhỏ cho bạn biết sớm rằng một tập lệnh dài và một tệp kết quả dài có thể không vừa.
Chọn mô hình phù hợp với từng bước
Dùng mô hình lớn hơn cho việc tái cấu trúc và logic trải dài qua nhiều tệp, và mô hình nhỏ hơn cho các chỉnh sửa nhỏ như sửa một dòng trong bench.py hay thêm một cột vào results.csv. Kích thước nên theo nhiệm vụ. Khi một bước đơn lẻ khó, run_on_model chỉ gửi bước đó tới mô hình lớn hơn, còn phần còn lại của cuộc trò chuyện ở mô hình nhỏ.
Chất lượng giữa các mô hình khác nhau, vì vậy hãy đọc mọi diff. Ask first dừng trước mỗi thay đổi, cho bạn một khoảnh khắc để đối chiếu lệnh hay chỉnh sửa tệp với các con số bạn đã đo. Đừng bao giờ chấp nhận một kết quả bạn chưa xem.
