Etkileşimli Weight Decay

Genel Harita Düzenlileştirme Weight Decay Dropout Early Stopping Tam Ekran Demo

Kitap / Bölüm 8

Weight decay, öğrenmeyi yalnızca hata azaltma yarışı olarak görmez; çözümün basit kalmasını da ister. Burada yüksek dereceli bir modelin λ arttıkça nasıl sakinleştiğini, katsayıların nasıl küçüldüğünü ve doğrulamanın nasıl tepki verdiğini canlı olarak görürsün.

Ne Yap Önce dereceyi yükseltip λ'yı düşür; sonra λ'yı kademeli artır ve fit eğrisiyle katsayı çubuklarının birlikte nasıl değiştiğini izle.

Ne Gör Küçük λ büyük katsayılar ve kırılgan eğriler doğurur. Orta λ eğriyi sakinleştirir; aşırı λ ise sinyali de bastırır.

Kitaptaki Karşılığı Düzenlileştirme, kapasiteyi tamamen silmek değil; gücü kontrollü kullanmayı öğretmektir.

Katsayı çubukları burada kritik. Eğriye bakmak sonucu, çubuklara bakmak ise mekanizmayı gösterir.