Kitap / Bölüm 10
Self-supervised learning, etiketi dışarıdan almak yerine verinin içinden üretir. Augmentasyonlarla oluşturulan pozitif çiftler, temsil uzayının nasıl kurulacağını modele öğretir.
Ne Yap
Augmentasyon gücünü, batch boyutunu ve temperature değerini değiştir. Pozitif çiftlerin ne kadar korunabildiğini izle.
Ne Gör
Augmentasyon çok sertleşirse pozitif çiftler bile birbirinden uzaklaşır. Temperature ise negatifleri ne kadar sert ayıracağını belirler.
Kitaptaki Karşılığı
Burada modelin öğretmeni veri olur; etiketler veri dönüşümlerinden türetilir ve temsil buna göre şekillenir.
Self-supervised yaklaşımın büyüsü şurada: pahalı insan etiketleri olmadan da güçlü temsil uzayları kurulabilir. Modern büyük modellerin çoğu bu düşünceden beslenir.