L2-SP Regularizasyon (L2 Starting Point Regularization)

Diger adlari: L2-SP, L2 Starting Point Regularization, On-Egitimli Agirlik Penalizasyonu

Kisa Tanim

L2-SP, fine-tuning sirasinda modelin mevcut agirliklarinin on-egitimli (pretrained) agirliklardan fazla sapmasini penalize eden bir regularizasyon teknigıdir. Bu sayede transfer ogrenme sirasinda kaynak domain bilgisi korunur ve catastrophic forgetting onlenir.

Teknik Mantik

Standart L2 regularizasyon agirliklari sifira dogru ceker (||theta||^2). L2-SP ise agirliklari on-egitimli baslangic noktasina dogru ceker: L = L_task(y, y_hat) + lambda * ||theta - theta_0||^2 burada theta_0 on-egitimli agirliklar, theta fine-tuning sonrasi agirliklar, lambda regularizasyon gucudur. Li et al. (2018) bu yaklasimin standart L2 ve dropout'a gore transfer ogrenme performansini tutarli olarak iyilestirdigini gostermistir. Yuksek lambda, on-egitimli bilgiyi daha fazla korur (az veri icin uygun); dusuk lambda, daha fazla adaptasyona izin verir (cok veri icin uygun).

Kullanim Baglami

On-egitimli modellerin yeni gorevlere fine-tune edildigi her durumda uygulanabilir. Ozellikle hedef veri seti kucuk oldugunda catastrophic forgetting riskini azaltir. Computer vision, NLP ve konusma tanima alanlarinda kullanilir.

Tarimsal Baglam

ImageNet'te egitilmis CNN'in tarimsal goreve fine-tune edilmesinde, L2-SP kaynak domain bilgisini koruyarak catastrophic forgetting'i %30-50 azaltir. Ozellikle hedef veri seti kucuk oldugunda (ornegin Siirt fistigi hastalik goruntulerı <500) standart fine-tuning'e gore belirgin ustunluk saglar. Fine-tuning katman dondurma stratejisiyle birlikte kullanilir: <500 goruntu icin yalnizca son katman + yuksek lambda; >5000 icin tam egitim + dusuk lambda.

Sik Karistirilan Nokta

L2-SP bazen standart weight decay ile karistirilir. Weight decay agirliklari sifira ceker; L2-SP ise on-egitimli noktaya ceker. Aradaki fark, transfer ogrenme baglaminda onemlidir: sifira cekmek on-egitimli bilgiyi yok eder, on-egitimli noktaya cekmek ise korur.

Dr. Mehmet Solak — Siirt Universitesi, Biyosistem Muhendisligi