Etkileşimli Dropout

Genel Harita Düzenlileştirme Weight Decay Dropout Early Stopping Tam Ekran Demo

Kitap / Bölüm 8

Dropout, eğitimi bilinçli biçimde eksiltir: her adımda bazı gizli birimler devre dışı kalır. Böylece model tek bir kırılgan düzen üzerine yaslanmak yerine farklı alt ağlarla çalışmayı öğrenir.

Ne Yap Dropout oranını değiştir, sonra `Maskeleri yenile` ile farklı alt ağların aynı hedefe nasıl yaklaştığını izle.

Ne Gör Açık mavi çizgiler eğitim anındaki stokastik geçişlerdir; koyu çizgi bunların daha istikrarlı çıkarım yüzünü temsil eder.

Kitaptaki Karşılığı Dropout, düzenlileştirmenin “ceza eklemekten” ibaret olmadığını; bazen öğrenmeye gürültü katarak da modelin disipline edilebildiğini gösterir.

Dropout'u yalnızca “birimleri kapatmak” olarak değil, eğitim sırasında küçük bir ensemble kurmak olarak okumak daha doğru çalışır.