Kitap Rotası: Düzenlileştirme ve Eğitim Disiplini#
Genel Harita
Model Seçimi
Düzenlileştirme
Weight Decay
Dropout
Early Stopping
Belirsizlik
Gözetimsiz ve Ötesi
Kitap / Bölüm 8
Model ailesini seçmek tek başına yeterli değildir. Kitabın ileri pratik tavrı burada daha da somutlaşır: iyi bir model, yalnızca güçlü değil; aynı zamanda kontrollü öğrenen modeldir. Düzenlileştirme tam burada devreye girer.
Neyi Kontrol Ediyoruz?#
Weight decay: büyük ağırlıkları cezalandırıp çözümü daha sakin hale getirir.
Dropout: eğitim sırasında bazı birimleri rastgele kapatıp tek bir dar alt ağ alışkanlığını bozar.
Early stopping: doğrulama bozulmaya başlamadan eğitimi keserek aşırı uyumu sınırlar.
Bu Projedeki Görsel Karşılıklar#
Weight Decay
Katsayıların nasıl küçüldüğünü, eğrinin nasıl yumuşadığını ve doğrulamanın nasıl iyileşebildiğini gör.
Canlı weight decay
Dropout
Eğitim anındaki rastgele alt ağlar ile çıkarım anındaki ortalama davranış arasındaki farkı canlı izle.
Canlı dropout
Early Stopping
En iyi doğrulama epoch'undan sonra eğitimde kalmanın nasıl borç yazdığını eğriler üstünde oku.
Canlı early stopping
Neden Bu Bölüm Model Seçiminden Sonra Geliyor?#
Çünkü kitap için bu iki fikir ayrılmaz: önce hangi model ailesinin uygun olduğuna karar verirsin, sonra o ailenin nasıl dizginleneceğini belirlersin. Kapasite seçimi ile düzenlileştirme aynı genelleme disiplininin iki yüzüdür.