เชื่อมต่อโมเดล AI กับ BenchQuorum

BenchQuorum ต้องมีโมเดลเพื่อวางแผนขั้นตอนและเขียนไฟล์ คุณเป็นผู้เลือกว่าโมเดลนั้นรันที่ไหน ได้แก่ ผู้ให้บริการ AI บนคลาวด์ผ่าน endpoint API มาตรฐาน โมเดลบนพีซีของคุณเอง หรือโมเดลในตัว ตัวเลือกนี้กำหนดว่าข้อความใดจะออกจากเครื่องของคุณ

สามวิธีเชื่อมต่อโมเดล

ผู้ให้บริการ AI บนคลาวด์

ผู้ให้บริการ AI บนคลาวด์เหมาะกับงานยากที่มีหลายขั้นตอน และคุณเชื่อมต่อผ่าน endpoint API มาตรฐานด้วยคีย์ของคุณเอง คีย์ของคุณอยู่ในเครื่อง พรอมต์ของคุณจะถูกส่งไปยังผู้ให้บริการรายนั้น จึงอย่าวางสิ่งใดจากเครื่องที่คุณไม่มีสิทธิ์แบ่งปัน และโปรดทราบว่าผู้ให้บริการอาจคิดค่าใช้งานแยกต่างหาก

โมเดลบนพีซีของคุณเอง

โมเดลที่รันในเครื่องบนพีซีของคุณเหมาะกับงานส่วนตัวและเครื่องที่ไม่มีอินเทอร์เน็ต เมื่อใช้โมเดลในเครื่อง ไม่มีอะไรออกจากเครื่อง เพราะพรอมต์ไม่ไปถึง endpoint อื่นเลย ข้อแลกเปลี่ยนคือฮาร์ดแวร์ โมเดลเล็กอาจต้องให้คุณตรวจมากขึ้น ส่วนโมเดลใหญ่ต้องใช้พีซีที่รันไหว

โมเดลในตัว

โมเดลในตัวไม่ต้องตั้งค่า endpoint จึงเป็นจุดเริ่มต้นที่ดีเมื่อคุณยังไม่มีผู้ให้บริการ เริ่มจากเล็กๆ คุณยังตรวจทุก diff ที่มันเสนอและทุกคำสั่งก่อนยอมรับ เหมือนกับโมเดลบนคลาวด์หรือในเครื่องทุกประการ เพราะคุณภาพของโมเดลต่างกันและไม่มีอะไรถูกต้องโดยอัตโนมัติ

กด Test ก่อนเริ่ม

ปุ่ม Test ตรวจ endpoint ที่คุณกรอก มันแสดงเวลาตอบสนองและหน้าต่างบริบท ซึ่งคือปริมาณข้อความที่โมเดลเก็บไว้ได้พร้อมกัน การตอบสนองที่ช้าหรือหน้าต่างที่เล็กบอกคุณตั้งแต่ต้นว่าสคริปต์ยาวๆ และไฟล์ผลลัพธ์ยาวๆ อาจใส่ไม่พอดี

เลือกโมเดลให้เหมาะกับขั้นตอน

ใช้โมเดลที่ใหญ่กว่าสำหรับการรีแฟกเตอร์และตรรกะที่ครอบคลุมหลายไฟล์ และใช้โมเดลที่เล็กกว่าสำหรับการแก้เล็กๆ เช่น แก้หนึ่งบรรทัดใน bench.py หรือเพิ่มคอลัมน์ใน results.csv ขนาดควรสอดคล้องกับงาน เมื่อมีขั้นตอนเดียวที่ยาก run_on_model จะส่งเฉพาะขั้นตอนนั้นไปยังโมเดลที่ใหญ่กว่า ส่วนที่เหลือของแชตยังอยู่กับโมเดลที่เล็กกว่า

คุณภาพของแต่ละโมเดลต่างกัน จึงต้องอ่านทุก diff Ask first หยุดก่อนทุกการเปลี่ยนแปลง ทำให้คุณมีจังหวะเทียบคำสั่งหรือการแก้ไฟล์กับตัวเลขที่คุณวัดได้ อย่ายอมรับผลลัพธ์ที่คุณยังไม่ได้ดู