BenchQuorum से AI मॉडल जोड़ें
BenchQuorum को अपने चरण तय करने और फ़ाइलें लिखने के लिए एक मॉडल चाहिए। वह मॉडल कहाँ चलेगा, यह आप चुनते हैं: मानक API एंडपॉइंट के ज़रिए क्लाउड AI प्रदाता, आपके अपने पीसी पर मॉडल, या बिल्ट-इन मॉडल। यही चुनाव तय करता है कि कौन-सा टेक्स्ट आपकी मशीन से बाहर जाता है।
मॉडल जोड़ने के तीन तरीके
क्लाउड AI प्रदाता
क्लाउड AI प्रदाता कठिन, बहु-चरणीय काम के लिए ठीक रहता है, और आप उसे अपनी कुंजी के साथ मानक API एंडपॉइंट से जोड़ते हैं। आपकी कुंजी लोकल रहती है। आपके प्रॉम्प्ट उसी प्रदाता के पास जाते हैं, इसलिए किसी ऐसी मशीन से कुछ पेस्ट न करें जिसे साझा करने की आपको अनुमति नहीं है, और याद रखें कि प्रदाता उपयोग के लिए अलग से शुल्क ले सकता है।
आपके अपने पीसी पर मॉडल
आपके पीसी पर लोकल चलने वाला मॉडल निजी काम और बिना इंटरनेट वाली मशीनों के लिए ठीक रहता है। लोकल मॉडल के साथ कुछ भी मशीन से बाहर नहीं जाता, क्योंकि प्रॉम्प्ट किसी दूसरे एंडपॉइंट तक नहीं पहुँचते। बदले में हार्डवेयर की शर्त है: छोटे मॉडल को आपकी ज़्यादा समीक्षा चाहिए हो सकती है, और बड़े मॉडल के लिए ऐसा पीसी चाहिए जो उसे चला सके।
बिल्ट-इन मॉडल
बिल्ट-इन मॉडल को एंडपॉइंट सेटअप की ज़रूरत नहीं होती, इसलिए जब आपके पास अभी कोई प्रदाता न हो तो शुरुआत के लिए यही ठीक जगह है। छोटे से शुरू करें। फिर भी आप उसके सुझाए हर diff और हर कमांड को स्वीकार करने से पहले जाँचते हैं, ठीक वैसे ही जैसे क्लाउड या लोकल मॉडल के साथ, क्योंकि मॉडल की गुणवत्ता अलग-अलग होती है और कुछ भी डिफ़ॉल्ट रूप से सही नहीं होता।
शुरू करने से पहले Test दबाएँ
Test बटन आपके दर्ज किए एंडपॉइंट को जाँचता है। वह रिस्पॉन्स टाइम और कॉन्टेक्स्ट विंडो दिखाता है, यानी मॉडल एक साथ कितना टेक्स्ट सँभाल सकता है। धीमा जवाब या छोटी विंडो आपको पहले ही बता देती है कि लंबी स्क्रिप्ट और लंबी नतीजा-फ़ाइल शायद न समाएँ।
चरण के हिसाब से मॉडल चुनें
रीफ़ैक्टर और कई फ़ाइलों में फैले लॉजिक के लिए बड़ा मॉडल इस्तेमाल करें, और छोटे बदलावों के लिए छोटा, जैसे bench.py की एक पंक्ति ठीक करना या results.csv में कॉलम जोड़ना। आकार काम के हिसाब से हो। जब कोई एक चरण कठिन हो, तो run_on_model सिर्फ़ उसी चरण को बड़े मॉडल के पास भेजता है, और बाकी चैट छोटे मॉडल पर रहती है।
मॉडलों की गुणवत्ता अलग-अलग होती है, इसलिए हर diff पढ़ें। Ask first हर बदलाव से पहले रुकता है, जिससे आपको कमांड या फ़ाइल-संपादन को अपने मापे आँकड़ों से मिलाने का मौका मिलता है। जो नतीजा आपने देखा नहीं, उसे कभी स्वीकार न करें।
