Kırılma Modları: Eğitimde Parlak, Testte Kırılgan
Model bazen gerçek problemi öğrenmez; problemle birlikte gelen kısayolu öğrenir. Eğitim ortamında işe yarayan bu alışkanlık, çevre değiştiğinde performansı bir anda çökertir. Bu demo, sağlam sinyal ile kısayol arasındaki gerilimi doğrudan gösterir.
İlk kez burada mısın? Failure mode’u 3 adımda oku
1. Kısayol bağımlılığını artır
Eğitim doğruluğu yüksek kalırken model giderek daha kırılgan hale gelir.
2. Test korelasyonunu boz
Kısayol tersine döndüğünde generalization gap bir anda açılır.
3. Etki payını karşılaştır
Sağlam sinyal yerine shortcut payı büyüyorsa model özeti güçlü ama taşıma gücü zayıf demektir.
Alanlar arası kırılma
Eğitim alanı
--
Kaymış test alanı
--
Model hangi sinyale yaslanıyor?
Sağlam sinyal
-
Kısayol sinyali
-