AI aynı nesneye iki kutu çizince iki doğru tespit sayılır mı?

İki nesneye üç uygun kutu çizildiğinde

Görüntüde iki gerçek nesne var. Model üç kutu üretiyor; kutuların üçü de bir nesneyle yeterince örtüşüyor. Her uygun kutuyu doğru sayarsanız üç doğru tespit bulursunuz. Oysa gerçek nesnelerden biri iki kez işaretlenmiştir. Değerlendirmede örtüşme hesabından sonra bir eşleme kuralı daha gerekir: aynı referans nesne birden fazla doğru tahmine yazılmamalıdır.

PASCAL VOC değerlendirme açıklaması, tespitleri güven sırasıyla ele alır ve aynı nesnenin ek tespitlerini fazladan doğru saymaz. Buradaki iki nesneli örnek bu tek kullanımlı eşleme ilkesini öğretir. Tam VOC veya COCO değerlendirmesi değildir; birden fazla sınıf, zor örnek işaretleri ve ortalama hassasiyet hesabı kapsam dışındadır.Kaynak: Everingham ve diğerleri — PASCAL VOC Challenge

Bütün kutular sentetiktir. Tek sınıf vardır, bütün nesneler değerlendirmeye dahildir ve bütün tahminler bu sınıfa aittir. Eğitim kuralımız IoU en az 0,5 ise geometrik eşleşmeye izin verir. Bu eşik ve sınır dahil etme seçimi örneğin açık sözleşmesidir; herhangi bir değerlendirme paketinin tüm kurallarını aynen uyguladığımız iddia edilmez.

Referans ve tahminleri kimlikle ayırın

Koordinatlar sürekli kenar biçimindedir; alan hesabında +1 eklenmez. P1, R1 ile tam aynıdır ve IoU değeri 1’dir. P3 de R2 ile tam çakışır. P2, R1’e göre sağa yarım birim kaymıştır. Kesişim genişliği 3,5, yüksekliği 4, kesişim alanı 14 olur. Birleşim alanı 16+16−14=18; IoU 14/18=7/9, yaklaşık 0,777778’dir.

Bu üç tahminin her biri en az bir referansla eşik üstü örtüşür. Ancak P1 ve P2 aynı referans R1’i kullanmak ister. İki referansın birbirinden uzak olması eşleme adayını burada açık hale getirir. Daha karmaşık görüntüde bir tahmin birden fazla referansla örtüşebilir; en iyi adayın nasıl seçildiği ve eşitliğin nasıl çözüldüğü ayrıca tanımlanmalıdır.

Referansı bir kez kullanın

Tahminleri azalan skorla işleyin. P1 önce gelir ve henüz kullanılmamış R1 ile eşleşir; bir doğru pozitif yazılır. R1 artık kullanılmıştır. P2’nin örtüşmesi yeterli olsa da aynı R1 ikinci kez doğruya yazılamaz; P2 yinelenen tespit olarak yanlış pozitif sayılır. Son olarak P3 kullanılmamış R2 ile eşleşir ve ikinci doğru pozitif olur.

TP=2, FP=1, FN=0.
Hassasiyet = TP/(TP+FP) = 2/3 ≈ %66,67.
Yakalama = TP/(TP+FN) = 2/2 = %100.
Tahmin kapsamı: 2+1=3. Referans kapsamı: 2+0=2.

Yakalamanın yüzde 100 olması bütün tahminlerin doğru olduğu anlamına gelmez. İki gerçek nesne de bulunmuştur, fakat bir fazladan kutu vardır. Hassasiyet bu fazlalığı görünür kılar. İki ölçüyü tek bir “başarı” yüzdesi altında birleştirmek, kullanıcıya gereksiz kutuların etkisini saklayabilir.

Yanlış yöntem üç tahmini de TP sayarsa, TP ile gerçek nesne sayısı arasında tutarsızlık oluşur. Üç doğruyu iki referansa bölen bir hesap yüzde 150 yakalama üretir. Bu, yüksek başarı değil kapsam hatasıdır. İki basit korunum kontrolü bu hatayı yakalar: TP+FP tahmin sayısına, TP+FN referans sayısına eşit olmalıdır.

Örtüşmeyi ve tüketilen referansı gösterin

Tek sınıf, sürekli xyxy kutuları. R1=[0,0,4,4], R2=[10,0,14,4]. Tahminler P1=[0,0,4,4] skor .9; P2=[.5,0,4.5,4] skor .8; P3=[10,0,14,4] skor .7. IoU>=.5 eğitim kuralını kullan. Tahminleri azalan skorla işle; her referans en fazla bir TP’ye yazılsın. Kesişim/birleşim alanını, eşleme izini, TP/FP/FN ve iki paydalı oranı göster. Bu küçük hesabı tam VOC veya COCO değerlendirmesi diye adlandırma.

Ajanın yanıtındaki en önemli satır P2’dir. Yalnız IoU değeri doğruysa çalışma tamamlanmış olmaz; R1’in daha önce kullanıldığının da belirtilmesi gerekir. P2’yi sessizce listeden silmek farklı bir işlemdir. Değerlendirmeye giren tahmin kümesi üç kayıtsa, rapor bu üç kaydın kararını da göstermelidir.

Güven eşiğiyle tahmin elemek veya non maximum suppression uygulamak başka bir aşamadır. Böyle bir ön işlem seçilirse hangi kutuların değerlendirmeye girdiği değişir ve yeni kapsam kaydedilmelidir. Bu yazıda üç tahminin tamamı değerlendirilir; yinelenen kutu sonradan temizlenmiş gibi gösterilmez. Eşik ve ön işlem kararlarını sonuçlara bakarak değiştirirseniz karşılaştırma koşullarını da değiştirmiş olursunuz.

Skor sırasını değiştirerek nedeni ayırın

P2’nin skoru P1’den yüksek olsaydı önce P2, R1’i alırdı. Bu küçük örnekte P2’nin IoU değeri de eşik üstü olduğu için P1 sonradan yinelenen tespit sayılır; toplamlar yine TP=2, FP=1, FN=0 kalırdı. Kimlerin doğru sayıldığı değişir, toplamların aynı kalması ise bütün eşleme izinin aynı olduğu anlamına gelmez.

Gerçek değerlendirmede sıralama değişikliğinin daha geniş sonuçları olabilir. Bu nedenle yalnız son yüzdeleri saklamak yeniden inceleme için yetersizdir. Referans kimliği, tahmin kimliği, skor, kullanılan eşik ve karar nedeni tutulduğunda tartışmalı bir eşleşme tekrar değerlendirilebilir. Skoru modelin kesin doğruluk olasılığı gibi yorumlamak bu geometri kontrolünün bir parçası değildir.

İkinci nesnenin tahminini çıkarın

P3’ü değerlendirme kümesinden çıkarın; P1 ve P2 aynı kalsın. Kaç gerçek nesne bulunur, kaç tahmin fazladır? Sonra farklı bir denemede P2 kutusunu R2’nin kutusuyla değiştirip üç tahmini tekrar değerlendirin. Kimlik izini ve toplamları ayrı yazın.

P3 yokken P1→R1 doğru, P2 yinelenen fazla; R2 kaçırılır. TP=1, FP=1, FN=1; hassasiyet ve yakalama %50. P2, R2 kutusuna taşınırsa P1→R1 ve P2→R2 doğru olur; P3 tekrar tespit sayılır. Toplam TP=2, FP=1, FN=0 kalır.

Kendi denemenize geçerken önce bir görüntüdeki her nesne ve tahmin için bu izi çıkarın. Alan hesabı doğru, referans kullanımı tekil ve iki kapsam eşitliği tutarlı olduğunda, daha büyük veri kümesindeki kalite sonuçlarını yorumlamak için sağlam bir başlangıç elde edersiniz.