BenchQuorum'a bir yapay zekâ modeli bağla

BenchQuorum, adımlarını planlamak ve dosya yazmak için bir modele ihtiyaç duyar. Modelin nerede çalışacağını sen seçersin: standart bir API uç noktası üzerinden bulut yapay zekâ sağlayıcısı, kendi PC'nde bir model ya da yerleşik model. Seçim, hangi metnin makineni terk edeceğini belirler.

Model bağlamanın üç yolu

Bulut yapay zekâ sağlayıcısı

Bulut yapay zekâ sağlayıcısı zor, çok adımlı işlere uygundur ve onu kendi anahtarınla standart bir API uç noktası üzerinden bağlarsın. Anahtarın yerelde kalır. İstemlerin o sağlayıcıya gider; bu yüzden paylaşmaman gereken bir makineden hiçbir şey yapıştırma ve sağlayıcının kullanım için ayrıca ücret alabileceğini unutma.

Kendi PC'nde bir model

PC'nde yerel çalışan bir model özel işler ve internet erişimi olmayan makineler için uygundur. Yerel modelde hiçbir şey makineyi terk etmez, çünkü istemler başka bir uç noktaya ulaşmaz. Bunun bedeli donanımdır: küçük bir model senden daha fazla inceleme isteyebilir, büyük bir model ise onu çalıştırabilecek bir PC gerektirir.

Yerleşik model

Yerleşik model uç nokta kurulumu gerektirmez; bu yüzden henüz bir sağlayıcın yoksa başlamak için iyi bir yerdir. Küçük başla. Bulut veya yerel modelde olduğu gibi, önerdiği her diff'i ve her komutu kabul etmeden önce yine incelersin; çünkü model kalitesi değişir ve hiçbir şey varsayılan olarak doğru değildir.

Başlamadan önce Test'e bas

Test düğmesi girdiğin uç noktayı kontrol eder. Yanıt süresini ve bağlam penceresini, yani modelin aynı anda ne kadar metin tutabildiğini gösterir. Yavaş bir yanıt ya da küçük bir pencere, uzun bir betiğin ve uzun bir sonuç dosyasının sığmayabileceğini erkenden söyler.

Modeli adıma göre seç

Birkaç dosyaya yayılan yeniden düzenlemeler ve mantık için daha büyük bir model, bench.py'de tek bir satırı düzeltmek ya da results.csv'ye bir sütun eklemek gibi küçük düzenlemeler için daha küçük bir model kullan. Boyut göreve uymalı. Tek bir adım zor olduğunda run_on_model yalnızca o adımı daha büyük bir modele gönderir, sohbetin geri kalanı küçük modelde kalır.

Model kalitesi değişir, bu yüzden her diff'i oku. Ask first her değişiklikten önce duraklar; böylece bir komutu veya dosya düzenlemesini ölçtüğün sayılarla karşılaştırmak için bir an bulursun. Bakmadığın bir sonucu asla kabul etme.