Kalibrasyon: Güven Skoru Gerçekten Ne Kadar Dürüst?

Bir model yüksek güven söylediğinde uzun vadede gerçekten o kadar doğru çıkıyorsa iyi kalibre edilmiştir. Reliability diyagramı bu sözü test eder: diyagonale yaklaştıkça skorlar olasılık gibi davranmaya başlar.

İlk kez burada mısın? Kalibrasyonu 3 adımda oku
1. Keskinliği artır Ham model fazla emin oldukça reliability eğrisi diyagonalin altına sarkmaya meyleder.
2. Sıcaklığı değiştir Sıcaklık `T>1` olduğunda logitleri yumuşatır; aşırı özgüveni çoğu zaman aşağı çeker.
3. ECE'yi karşılaştır Ham ve kalibre edilmiş eğrilerin farkı, güven skorlarının ne kadar dürüstleştiğini net gösterir.