Anlamsal Bölütleme (Semantic Segmentation)

Anlamsal bölütleme, bir görüntüdeki her piksele bir sınıf etiketi atayarak yoğun piksel düzeyinde bir sınıflandırma haritası üretir. Tarımda bu ince taneli mekânsal anlayış; hem yakın çekim hem de uydu görüntülerinden ürün sınırlarının, yabancı ot alanlarının, hastalık lezyonlarının, bitki örtüsü kapsamının ve arazi kullanım türlerinin hassas belirlenmesini mümkün kılar.

Temel Mimariler

FCN (Tam Evrişimli Ağ / Fully Convolutional Network), sınıflandırma CNN'lerindeki tam bağlı katmanları evrişim katmanlarıyla değiştirerek isteğe bağlı giriş çözünürlüklerinde uçtan uca piksel düzeyinde tahmin yapılmasını sağlamıştır. FCN, sonraki mimarilerin geliştirdiği kodlayıcı-kod çözücü paradigmasını ortaya koymuştur.

U-Net, kodlayıcı (altörnekleme yolu) ile kod çözücü (üstörnekleme yolu) arasında simetrik atlama bağlantıları sunarak üst düzey anlamsal özellikleri ince taneli mekânsal detaylarla birleştirip hassas konumlandırma sağlar. Başlangıçta biyomedikal görüntü bölütlemesi için tasarlanan U-Net, küçük eğitim setleriyle etkinliği ve sezgisel mimarisi sayesinde tarımsal bölütleme görevleri için en popüler mimari haline gelmiştir.

SegNet, kod çözücünün üstörnekleme için karşılık gelen kodlayıcı katmanından maksimum havuzlama indekslerini yeniden kullandığı bir kodlayıcı-kod çözücü yapısı kullanır. Bu, U-Net'in özellik haritası birleştirme yaklaşımına kıyasla bellek gereksinimlerini azaltır.

DeepLab (v2, v3, v3+), çözünürlük kaybı olmadan alıcı alanı genişletmek için atroz (genişletilmiş / dilated) evrişimler ve çok ölçekli bağlam yakalamak için Atroz Uzamsal Piramit Havuzlama (ASPP) sunar. DeepLabV3+, iyileştirilmiş sınır belirleme için bir kod çözücü modülü ekler. DeepLab, farklı ölçeklerde nesneler içeren karmaşık tarımsal sahneler için özellikle etkilidir.

PSPNet (Piramit Sahne Ayrıştırma Ağı / Pyramid Scene Parsing Network), farklı ölçeklerde bağlam bilgisini toplamak için bir piramit havuzlama modülü kullanarak, genel sahne anlayışı gerektiren nesnelerin bölütlemesini iyileştirir.

Tarımsal Uygulamalar

Ürün/Yabancı Ot Bölütleme: Yakın çekim veya İHA görüntülerinde kültür bitkilerinin yabancı otlardan piksel düzeyinde ayrılması. Bölütleme haritaları doğrudan hassas püskürtme sistemlerini yönlendirerek herbisit uygulamasını yalnızca yabancı ot piksellerine yöneltirken kültür bitkilerinden kaçınır.

Hastalık Lezyonu Bölütleme: Yapraklar veya bitki organları üzerindeki hastalık belirtilerinin tam kapsamının belirlenmesi. Lezyon alanı ölçümü, verim kaybıyla korelasyon gösteren ve tedavi kararlarını bilgilendiren şiddet puanlamasını (etkilenen yaprak alanı yüzdesi) mümkün kılar.

Tarla Sınırı Tespiti: Uydu görüntülerinden bireysel tarımsal parsellerin bölütlenmesi. Doğru tarla sınırları; ürün alanı tahmini, sübvansiyon yönetimi ve bölgesel/ulusal ölçekte tarımsal istatistikler için esastır.

Bitki Örtüsü Haritalama: Bahçe veya orman görüntülerinde ağaç taç örtüsünün arka plandan (toprak, gölge, gökyüzü) bölütlenmesi. Taç örtüsü alanı ve yoğunluk metrikleri; budama kararları, sulama yönetimi ve biyokütle tahmini için bilgi sağlar.

Arazi Kullanımı / Arazi Örtüsü (LULC): Uydu görüntü piksellerinin tarım arazisi, orman, su, kentsel alan ve çıplak toprak gibi kategorilere sınıflandırılması. Çok zamanlı LULC analizi; tarımsal genişleme, ormansızlaşma ve arazi bozulmasını izler.

Toprak ve Anız Haritalama: Toprak yüzeylerindeki ürün anız örtüsünün bölütlenmesiyle koruyucu toprak işleme uygulamalarının ve erozyon riskinin değerlendirilmesi.

Büyük Ölçekte Uydu Görüntü Bölütlemesi

Uydu görüntülerinin bölütlenmesi özgün zorluklar ortaya çıkarır:

• Mekânsal çözünürlük: Sentinel-2 (10m/piksel) ve Landsat (30m/piksel), tek bir piksel içinde birden fazla arazi örtüsü tipinin yer aldığı karışık pikseller üretir; bu durum alt piksel veya süper çözünürlük yaklaşımları gerektirir.
• Zamansal birleştirme: Bulutsuz kompozitler çok tarihli gözlemlerden oluşturulur; zamansal tutarsızlıklar artefaktlar ortaya çıkarır.
• Büyük ölçekli çıkarım: Bir ülkenin tamamını yüksek çözünürlükte bölütlemek, kenar artefaktlarından kaçınmak için parça sınırlarının dikkatli ele alınmasını gerektiren parça tabanlı çıkarım gerektirir.
• Çok bantlı girdi: Uydu sensörleri RGB ötesinde bantlar (yakın kızılötesi, kısa dalga kızılötesi) yakalar ve bunlar kritik bitki örtüsü bilgisi taşır. Mimarilerin standart 3 kanallı RGB yerine çok kanallı girdileri kabul edecek şekilde uyarlanması gerekir.

Örnek Bölütleme ve Anlamsal Bölütleme (Instance vs. Semantic)

Anlamsal bölütleme, belirli bir sınıfa ait tüm piksellere aynı etiketi atar (örn. tüm yabancı ot pikselleri "yabancı ot" olarak etiketlenir). Örnek bölütleme (Instance Segmentation) (Mask R-CNN) ise ayrıca bireysel nesne örneklerini ayırt eder (örn. her ayrı yabancı ot bitkisi benzersiz bir kimlik alır). Örnek bölütleme, sayım görevleri ve bireysel bitki analizi için tercih edilir ancak hesaplama açısından daha talepkârdır.

Panoptik bölütleme (Panoptic Segmentation) her ikisini birleştirir; "malzeme" (toprak, gökyüzü gibi amorf bölgeler) ve "şeyleri" (bireysel bitkiler gibi sayılabilir nesneler) birleşik bir çerçevede bölütler -- kapsamlı tarımsal sahne anlayışı için yükselen bir yönelimdir.

Etiketleme Zorlukları

Piksel düzeyinde etiketleme son derece zaman yoğundur. Tek bir tarımsal görüntünün etiketlenmesi 30-60 dakika sürebilir. Bunu azaltma stratejileri arasında yarı denetimli öğrenme (semi-supervised learning), etiketlenecek en bilgilendirici görüntülerin seçimi için aktif öğrenme (active learning) ve mevcut etiketlemelerin değerini en üst düzeye çıkarmak için Data Augmentation yer almaktadır.

Ingest Edilen Makalelerden Bulgular

Peng et al., 2020 — Litchi (lici) dallarının robotik hasat için DeepLabV3+ modeli ile anlamsal bölütlemesi. Doğal ortamdaki lici dallarının tespit edilmesi, toplama robotunun meyve dallarını kavraması ve kesmesi için kritik bir adımdır. Temel bulgular:

• DeepLabV3+ modeli Xception_65 omurgasıyla birleştirildiğinde ortalama kesişim-birleşim oranı (MIoU) 0,765 elde edilmiştir; bu değer orijinal DeepLabV3+ modelinin 0,621 MIoU'sundan 0,144 puan daha yüksektir.
• Transfer öğrenme ve veri artırma teknikleri yakınsama hızını artırmış ve modelin sağlamlığını iyileştirmiştir.
• Atroz uzamsal piramit havuzlama (ASPP), ağırlık parametre sayısını artırmadan anlamsal piksel konum bilgisini daha iyi çıkarmayı sağlamıştır.
• Model, PSPNet_101 ve ICNet'e kıyasla tespit doğruluğunda belirgin üstünlük göstermiştir.

Wang et al., 2020 — Kontrolsüz dış mekan aydınlatmasında ürün ve yabancı ot anlamsal bölütlemesi. Kodlayıcı-kod çözücü derin öğrenme ağı ile farklı renk uzayları ve görüntü iyileştirme yöntemleri karşılaştırılmıştır. Temel bulgular:

• Piksel düzeyinde bölütleme için en iyi MIoU değeri %88,91, nesne düzeyinde sınıflandırma için en iyi ortalama doğruluk %96,12 olarak raporlanmıştır.
• Yakın kızılötesi (NIR) bilgisi, özellikle zayıf aydınlatma koşullarında bölütleme doğruluğunu önemli ölçüde artırmıştır; NIR olmadan renk uzayı dönüşümleri ve bitki örtüsü indekslerinin bölütleme sonuçlarını iyileştirmediği gösterilmiştir.
• Görüntü iyileştirme yöntemleri, farklı aydınlatma koşullarına karşı model sağlamlığını artırmıştır.
• Hassas tarımda yabancı ot yönetimi için büyük miktarda eğitim verisi gerektirmeden başarılı sonuçlar elde edilmiştir.