Weight Decay: Katsayıları Küçült, Eğriyi Sakinleştir

Weight decay, modele yalnızca veriyi açıklamayı değil; bunu mümkün olduğunca küçük ağırlıklarla yapmayı söyler. Böylece özellikle yüksek kapasiteli modellerde spiky, kırılgan çözümler yerine daha dengeli eğriler oluşur.

İlk kez burada mısın? Weight decay'i 3 adımda oku
1. Dereceyi artır Yüksek derece, veriyi bükerek izlemeye çok isteklidir. Düşük λ ile katsayılar hızla şişer.
2. λ'yı yükselt Weight decay arttıkça büyük katsayılar cezalandırılır. Eğri yumuşar, katsayı çubukları kısalır.
3. Doğrulamayı oku Az λ aşırı uyuma, fazla λ eksik uyuma iter. İyi nokta çoğu zaman ikisinin arasındadır.