AI nesneyi buldu; çizdiği kutu doğru alanı kapsıyor mu?

Nesneyi bulmak ile doğru bölgeyi kapsamak ayrıdır

Görsel AI sistemi nesnenin etrafına bir kutu çizdi. Ekip, kutu görüntüde göründüğü için konumun doğru olduğunu düşünüyor. Oysa kutu yana kaymış, nesnenin yalnız küçük bir bölümünü kaplamış veya gereğinden geniş çizilmiş olabilir. Nesnenin varlığını söylemekle sınırlarını doğru yerleştirmek aynı değerlendirme değildir. Konum kontrolü için önce model kutusunu ve referans kutuyu aynı koordinat düzleminde tanımlamak, sonra örtüşmelerini hesaplamak gerekir.

Bu uygulamada fotoğraf veya gerçek kusur kaydı yoktur. Üç özgün sentetik kutuyu tek referansla karşılaştırıyoruz. Şemadaki kareler eşit ölçekli koordinat birimleridir; bir üretim görüntüsünün pikselleri olarak yorumlanmaz. Sonunda kesişim alanı, birleşim alanı ve bunların oranını taşıyan bir kontrol tablonuz olacak. Bir kutunun bütünüyle referansın içinde kalmasının neden tam eşleşme sayılmadığını da sayılarla açıklayabileceksiniz.

Koordinat biçimini hesaplamadan önce sabitleyin

Köşe gösterimi (x1,y1,x2,y2) kullanılıyor. x sağa, y aşağı artar. Kutular dönmemiştir ve sürekli düzlemde alan ölçeriz; genişlik x2−x1, yükseklik y2−y1 olur. Alan hesabına piksel sayımı amacıyla bir eklenmez. Bütün kutularda ikinci köşe birincinin sağında ve altındadır. Kırpma, döndürme veya ölçek dönüşümü yapılmıyor; bu işlemler gerekiyorsa örtüşme hesabından önce aynı düzleme geçiş ayrıca doğrulanmalıdır.

Torchvision box_iou belgesi, kutu çiftleri için kesişimin birleşime oranını hesaplayan ölçüyü tanımlar ve xyxy gibi koordinat biçimlerini belirtir. Bu yazıda kullanılan biçim xyxy’dir; son iki değeri genişlik ve yükseklik diye okumayın. Aynı dört sayı başka biçimde başka bir kutu oluşturabilir. Burada Torchvision çalıştırılmadı; geometrik sonuçlar bağımsız alan hesabıyla doğrulandı.Kaynak: Torchvision — box_iou

Kesişimi iki kez saymadan birleşimi bulun

A ile R’nin ortak x aralığı 2’den 4’e, ortak y aralığı 0’dan 4’e uzanır. Kesişim alanı 2×4=8’dir. İki kutunun alanlarını doğrudan toplamak ortak bölgeyi iki kez sayar. Birleşim için bu ortak alanı bir kez çıkarırız: 16+16−8=24. IoU değeri 8/24=1/3 olur. “Referansın yarısı kaplandı” ifadesi doğru olsa da IoU bir yarım değildir; payda yalnız referans alanı değildir.

B kutusu referansın bütünüyle içindedir. Kesişim B’nin dört birimlik alanıdır; birleşim referansın on altı birimlik alanı olarak kalır. IoU 4/16=1/4 olur. İçeride olmak, referansın tamamını kaplamak değildir. C kutusu ise referansla aynı köşelere sahiptir. Kesişim ve birleşim 16 olduğundan oran birdir. Üç örnekte aynı formülü kullanmak, gözle yakın görünen kutuları tutarlı biçimde karşılaştırmayı sağlar.

Kesişim genişliği = max(0, min(x2) − max(x1)).
Kesişim yüksekliği = max(0, min(y2) − max(y1)).
Kesişim = bu iki uzunluğun çarpımı.
Birleşim = referans alanı + aday alanı − kesişim.
IoU = kesişim / birleşim; geçersiz veya sıfır alanlı kutular önce ayrılır.

Eşik bir görev kararıdır

Tabloda 0,5 dahil eşiği yalnız eğitim için seçilmiştir. Bu örnek koşulda C geçer, A ve B kalır. Buradan gerçek üretim görüntüleri için uygun bir eşik çıkarılamaz. Referansın nasıl etiketlendiği, hangi konum hatalarının kabul edildiği ve nesnenin kullanım amacı ayrıca belirlenmelidir. Aynı oran farklı görevlerde farklı sonuçlar doğurabilir; görsel üzerindeki ölçüyü iş kararının tamamı gibi kullanmayın.

IoU modelin bir sınıfa verdiği olasılık değildir. Bu tablo nesnenin adının doğru olduğunu da sınamaz. Birden çok nesnede hangi tahminin hangi referansa bağlanacağı, kaç nesnenin kaçırıldığı ve toplam değerlendirme ölçüleri ayrı konulardır. Burada mAP hesaplanmıyor; her aday bağımsız olarak aynı tek referansla karşılaştırılıyor. Üç sentetik sonuçtan gerçek görsel sistemin başarı oranı raporlanmaz.

Modelden alanları açıkça göstermesini isteyin

R=(0,0,4,4); A=(2,0,6,4), B=(1,1,3,3), C=(0,0,4,4). Sürekli düzlemde xyxy köşe biçimi, x sağa y aşağı; dönme ve ölçek farkı yok. Önce kutuların pozitif alanını doğrula. Her aday için ortak x/y aralığını, kesişimi, birleşimi ve IoU oranını hesapla. Alanlara +1 ekleme. Yalnız bu alıştırma için IoU>=0,5 kararını uygula. Gerçek nesne sınıfı, model olasılığı veya üretim onayı iddia etme.

Kontrolü görsele bakarak bırakmayın. A için ortak genişliği ve yüksekliği ayrı hesaplayın; B için birleşimin neden 20 değil 16 olduğunu açıklayın. Her oranın sıfır ile bir arasında olduğunu doğrulayın. Referans ve adayın yerlerini değiştirmek IoU değerini değiştirmemelidir. Aynı kutunun kendisiyle karşılaştırması bir, ortak alanı olmayan iki pozitif kutunun karşılaştırması sıfır olmalıdır. Bu sınır örnekleri hesap kuralını ayrıca sınar.

Kaymayı bir birim azaltın

A kutusunu (1,0,5,4) konumuna alın. Referans aynı kalsın. Yeni kesişim ve birleşimi bulup 0,5 dahil eğitim eşiğini yeniden uygulayın. İkinci bağımsız soruda aday (4,0,8,4) olsun: referansa yalnız kenardan dokunuyor. Sürekli alan sözleşmesinde dokunmanın pozitif kesişim alanı oluşturup oluşturmadığını düşünün.

Kayması azaltılan A: ortak genişlik 3, yükseklik 4; kesişim 12, birleşim 16+16−12=20. IoU=0,6; örnek eşikten geçer. Kenardan dokunan kutuda ortak genişlik 0, kesişim 0 ve IoU=0. Kenar teması pozitif alan değildir.

Eğitim çıktınızı koordinat biçimi, referans kaynağı ve eşik gerekçesiyle saklayın. Böylece daha sonra bir kutunun neden geçtiği veya kaldığı yalnız ekrandaki görünüşe bağlı olmaz. Sayısal alan hesabı, görsel AI sonucunun hangi kısmını doğruladığınızı açıklayan yeniden kullanılabilir bir kontrol kaydına dönüşür.