Aktivasyonlar: Doğrusal Haritayı Nerede Kıvırıyoruz?

Bir katmanın doğrusal kısmı tek başına yeterli değildir; aktivasyon fonksiyonu ağın esnekliğini buradan üretir. Aynı üç gizli nöron, aktivasyon türüne göre tamamen farklı temsil gücü verir.

İlk kez burada mısın? Aktivasyonu 3 adımda oku
1. Lineer ile başla Lineer aktivasyonda üç nöronun toplamı hâlâ tek bir doğrusal aile gibi davranır. Eğriyi kıvıramaz.
2. Tanh / ReLU'ya geç Aynı merkezler bu kez farklı yerlerde kırılma ya da yumuşak doygunluk üretir. Model esnemeye başlar.
3. Keskinliği artır Aktivasyon sertleştikçe eğri daha parçalı veya daha keskin hale gelir. Fazlası aşırı kıvrıma dönüşebilir.