Covariate Shift: Eğitimde Güçlü, Kaymış Dünyada Zayıf

Covariate shift, etiket mekanizması aynı kalsa bile girdilerin geldiği dağılımın değişmesidir. Burada özellikle shortcut kullanan modellerin, eğitim doğruluğu yüksek görünürken kaymış ortamda neden hızla eridiğini izliyoruz.

İlk kez burada mısın? Shift sezgisini 3 adımda oku

1. Kaymayı artır Eğitim kartı sabit kalırken kaymış dünya kartı neden hızla düştüğüne bak.

2. Shortcut bağımlılığını yükselt Model kısayola ne kadar yaslanırsa dağılım değişince kayıp o kadar sert olur.

3. Reweighting uygula Düzeltme, tüm kaybı kapatmasa da bazı rejimlerde anlamlı toparlanma sağlayabilir.

Ana sinyal gücü0.72

Shortcut bağımlılığı0.64

Kayma şiddeti0.58

Az temsil edilen slice drift0.42

Yeniden ağırlıklandırma0.46

Hazır senaryoHızlı işlem

Üç ortamı karşılaştır

Ana sinyal dayanıklılığı

Gerçek ilişkili sinyal ne kadar güçlüyse shift altında modelin taşıyıcı omurgası o kadar sağlam kalır.

Shortcut sapması

Shortcut özellikler eğitimde yüksek kazanç üretebilir; ama kaymış dünyada en büyük kırılganlık kaynağı da çoğu zaman onlardır.

Slice drift

Az temsil edilen alt gruplar farklı kayarsa global doğruluk makul görünürken belirli slice’lar çok daha ağır darbe alabilir.