Etkileşimli Olasılık Kalibrasyonu

Genel Harita Belirsizlik Bayes Kalibrasyon Conformal Tam Ekran Demo

Kitap / Güven Skoru

Bir model `0.9` dediğinde uzun vadede gerçekten yaklaşık `%90` doğru çıkması gerekir. Kalibrasyon tam olarak bu sözü test eder: skorlar yalnızca sıralama için mi iyi, yoksa gerçekten güvenilir olasılık mı taşıyor?

Ne Yap Keskinliği, skor kaymasını ve sıcaklık değerini değiştir. Reliability diyagramında ham ve kalibre edilmiş davranışı karşılaştır.

Ne Gör Diyagonal çizginin üstü temkinli, altı aşırı özgüvenli davranışı gösterir. İyi kalibrasyon bu çizgiye yaklaşır.

Kitaptaki Karşılığı Bu, modelin yalnızca doğru sıralama değil, doğru güven beyanı üretip üretmediğini ölçen pratik disiplindir.

Sıralamada iyi olmak ile olasılıkta dürüst olmak aynı şey değildir. Özellikle karar eşiği ve risk yönetimi gereken sistemlerde kalibrasyon ayrı bir konu haline gelir.