Kitap Rotası: Ensemble Öğrenme

Genel Harita Temel Algoritmalar Ensemble Bagging Random Forest Gradient Boosting Öğrenme Anatomisi

Kitap / Ağaçlardan Topluluklara

Tek bir model çoğu zaman ya fazla oynak ya da fazla sınırlıdır. Ensemble fikri, birbirinden biraz farklı öğrenicileri bir araya getirip daha dengeli bir karar üretmektir. Kitabın düşünme biçiminde bu, “daha büyük model”den çok “daha akıllı birleşim” adımıdır.

Neden Tek Model Yetmeyebilir?

• Tek bir karar ağacı çok hızlı öğrenir ama küçük veri oynamalarına karşı kırılgan olabilir.

• Bagging, farklı bootstrap örneklerinde yetişen ağaçların ortalamasını alarak bu oynaklığı azaltır.

• Random forest, bagging’e ek olarak her bölünmede özellik altkümesi seçerek ağaçları birbirinden daha farklı hale getirir.

• Gradient boosting ise paralel ortalama yapmak yerine, hatayı adım adım düzelten sıralı bir topluluk kurar.

Bu Projedeki Görsel Karşılıklar

Bagging Aynı veriden üretilen farklı ağaçların tek tek ne kadar oynak, ortalama alındığında ne kadar sakin olduğunu gör. Canlı bagging

Random Forest Tek bir ağacın bloklu sınırı ile birçok ağacın ortak oyunu yan yana oku. Canlı random forest

Gradient Boosting Her yeni zayıf öğrenicinin önceki hatayı nasıl hedef aldığını ve sahneyi adım adım nasıl düzelttiğini izle. Canlı gradient boosting

Buradaki Asıl Ayrım Ne?

Bagging ve random forest daha çok varyansı düşürmeye çalışır: birçok oynak modelin ortalaması daha sakin davranır. Boosting ise bias’ı azaltmaya çalışır: ilk kaba tahminden başlayıp hatayı aşama aşama düzeltir. İkisi de topluluk kurar ama aynı mantıkla kurmaz.

Bu Sayfa Bagging Random Forest Gradient Boosting Sonraki: Öğrenme Anatomisi