HUKUK
AI Ölçüm Metodolojisi
Bir görünürlük sayısı nasıl üretilir ve iki çalışma neden haklı olarak farklılaşabilir.
Provider, surface ve model
Provider şirkettir. Surface ölçülen arayüzdür — resmî API, grounded API veya onaylı bir tüketici yüzeyi. Model cohort yalnızca sağlayıcı açıkladığında raporlanır.
Ölçüm kaynağı
Her çalışma kanıtının kaynağını kaydeder; böylece bir API ölçümü hiçbir zaman tüketici yüzeyi ölçümü gibi sunulmaz.
Auto-routed ve bilinmeyen sürümler
Sağlayıcı isteği içeride yönlendirdiğinde veya sürüm açıklamadığında, çalışma auto-routed ya da model sürümü bilinmiyor olarak işaretlenir. VENRAC sürüm tahmin etmez.
Örnekleme
Bir metrik, promptlar ve çalışmalar üzerinden bir örneklemle hesaplanır. Kapsam, sayının yanında raporlanır.
Prompt sürümleme
Promptlar sürümlenir. Bir metrik yalnızca aynı prompt sürümü ve locale kullanan çalışmalar arasında karşılaştırılabilir.
Locale ve ülke
Ölçüm locale'i bir ürün boyutudur ve arayüz dilinden ayrıdır.
Güven ve oynaklık
Üretken sistemler çalışmalar arasında değişir. Varyans anlamlı olduğunda güven seviyesi gizlenmez, raporlanır.
Sonuçlar neden farklılaşır
Farklı kullanıcılar, oturumlar, locale'ler, yönlendirme kararları ve sağlayıcı güncellemeleri cevabı değiştirebilir. Fark, varyasyonun kanıtıdır; hatanın ispatı değildir.
Sıralama garantisi yok
Optimize edilecek evrensel bir sıralama yoktur ve VENRAC hiçbir cevapta yer almayı vaat etmez.