Aşırı Öğrenme (Overfitting)

Alternatif adlar: Overfitting, Aşırı Uyum, Ezberleme

Kısa Tanım

Aşırı öğrenme, bir makine öğrenmesi modelinin eğitim verisindeki gürültüyü ve rastgele örüntüleri de dahil ederek ezberleme yapması sonucu eğitim performansının yüksek, ancak görülmemiş test verisindeki genelleme performansının düşük kalması durumudur. Model karmaşıklığının veri miktarına ve gerçek sinyal karmaşıklığına oranla fazla olması temel nedenidir.

Teknik Mantık

Bias-varyans ödünleşiminde (bias-variance tradeoff) aşırı öğrenme düşük bias ancak yüksek varyans rejimine karşılık gelir. Model, eğitim setindeki her noktaya yakın geçen karmaşık karar sınırları öğrenir. Teşhis yöntemleri: eğitim ve doğrulama kayıp eğrilerinin ayrışması (validation loss platoya ulaşırken training loss düşmeye devam etmesi), k-katlı çapraz doğrulama (k-fold cross-validation) sonuçlarının yüksek varyans göstermesi. Önleme teknikleri arasında düzenlileştirme (L1/L2 regularization), erken durdurma (early stopping), dropout, veri artırma (data augmentation), model basitleştirme ve ensemble yöntemleri yer alır.

Kullanım Bağlamı

Veri miktarı sınırlı, özellik boyutu yüksek veya model kapasitesi fazla olan tüm senaryolarda aşırı öğrenme riski bulunur. Özellikle derin sinir ağları milyonlarca parametre içerdiğinden küçük veri kümeleriyle eğitimde bu risk belirgin şekilde artar.

Tarımsal Bağlam

Tarımsal veri setleri genellikle küçüktür; örneğin belirli bir hastalık için yalnızca birkaç yüz etiketli yaprak görüntüsü bulunabilir. Bu koşulda ImageNet üzerinde ön eğitilmiş bir CNN'in tüm katmanlarının açılarak (fine-tuning) eğitilmesi aşırı öğrenmeye yol açar. Transfer öğrenmede yalnızca son katmanların eğitilmesi, agresif veri artırma ve sınıf dengesizliğinin giderilmesi standart önlemlerdir. Kemometrik modellerde (PLS) latent değişken sayısının çapraz doğrulama ile belirlenmesi, bileşen sayısının artırılmasının aşırı öğrenme riskini doğrudan artırması nedeniyle kritiktir.

Sık Karıştırılan Nokta

Aşırı öğrenme ile eksik öğrenme (underfitting) karıştırılabilir. Eksik öğrenmede hem eğitim hem test performansı düşüktür; model yeterince karmaşık değildir. Aşırı öğrenmede ise yalnızca test performansı düşerken eğitim performansı yüksek kalır. Ayrıca yüksek eğitim doğruluğu her zaman aşırı öğrenme göstergesi değildir; büyük ve temiz veri setlerinde model gerçekten iyi genelleyebilir. Teşhis için bağımsız test seti veya çapraz doğrulama sonuçlarını incelemek genellikle en güvenilir yoldur.

Dr. Mehmet Solak — Siirt Üniversitesi, Biyosistem Mühendisliği