İki kişi aynı görüntüye farklı etiket veriyorsa neyi düzeltmelisiniz?

Önce insanların aynı kararı verip vermediğine bakın

Görsel kalite pilotunda modelin yanlış sınıflandırdığı söylenen bir kaydı açtınız. Kalite ekibindeki iki kişi de aynı görüntü hakkında farklı düşünüyor. Bu durumda yalnızca modeli yeniden eğitmek, hangi etiketin hedef olduğunu açıklamaz. Önce gözlemin yeterli olup olmadığını ve karar kuralının aynı biçimde uygulanıp uygulanmadığını incelemek gerekir. Etiketleme çalışmasının çıktısı, üzerinde düşünülmeden kabul edilen tek bir harf değildir.

Aşağıdaki sekiz kayıt, metal kapak yüzeyindeki izleri anlatan sentetik gözlem notlarıdır. Gerçek görüntüler veya ölçülmüş ürünler bulunmaz; fiziksel kusur teşhisi yapılmaz. K, ilk rehberde ‘kusurlu’; N, ‘normal’ olarak kullanılan iki etikettir. İlk rehber yalnızca ‘belirgin çizikleri kusurlu sayın’ der. Belirginliğin tanımlanmaması, örnekteki anlaşmazlığın araştırılacak nedenlerinden biridir.

Google PAIR rehberi, etiketleyiciler arası tutarlılığın incelenmesini ve düşük anlaşmanın etiketleme talimatlarıyla ilişkili olabileceğini belirtir. Bu, her anlaşmazlığın mutlaka kötü talimattan kaynaklandığı anlamına gelmez. Eksik görüntü, yanlış kayıt veya farklı uzmanlık da incelenebilir. Buradaki çalışma, basit anlaşma hesabından rehber düzeltmesine uzanan özgün bir uygulamadır.Kaynak: Google PAIR — Veri toplama ve etiketleme

İlk kararları değiştirmeden saklayın

A ve B kararlarını birbirini görmeden vermiş olsun. Görüşme sonrasında etiketler değişirse yeni kararları ayrı sütuna ekleyin. İlk sütunları ortak sonuçla değiştirmek, başlangıçtaki anlaşmazlığı görünmez kılar. Her kayıtta kullanılan rehber sürümünü ve hangi girdiyle karar verildiğini tutmak, sonraki turla karşılaştırmayı mümkün kılar. Gerçek çalışmada kişisel ayrıntı yerine görev için gerekli etiketleyici kodları yeterli olabilir.

E1, E2, E4, E5, E7 ve E8’de kararlar aynıdır: altı anlaşma vardır. E3 ve E6 farklıdır. Basit anlaşma oranı 6 / 8 = yüzde 75’tir. A üç kayda, B de üç kayda K vermiştir; bu eşit toplam, aynı kayıtları seçtiklerini göstermez. Sadece sınıf toplamlarını karşılaştırmak iki anlaşmazlığı kaçırır.

Yüzde 75’i model doğruluğu diye yazmayın

Bu hesap iki kişinin aynı etiketi verme oranıdır. Doğrulanmış bir referans karar olmadığı için yüzde 75 doğruluk iddiası kurulamaz. İki kişi aynı hatada da anlaşabilir. Ayrıca sekiz kayıt, bütün üretim koşullarını temsil ettiği gösterilmiş bir örneklem değildir. Daha kapsamlı değerlendirmede sınıf dağılımı ve şans eseri anlaşma gibi konular ayrıca incelenebilir; bu alıştırma yalnızca doğrudan anlaşma oranını kullanır.

İki satırın çözümü aynı değildir. E3, karar sınırının açıklanmasını; E6, girdinin yeterliliğinin kontrolünü gerektirir. Rehbere daha güçlü bir sıfat eklemek eksik görüntüyü tamamlamaz. Yeni görüntü almak da hangi izin kabul edileceği sorusunu tek başına çözmez. Sorumlu, hangi kanıtın eksik olduğunu kayda geçirerek sonraki adımı seçmelidir.

Yapay zekâyı karar kaydının editörü olarak kullanın

Sekiz sentetik kaydı ve A/B etiketlerini kullan. Her kayıtta anlaşmayı karşılaştır, toplam anlaşma ve oranı hesapla. İlk etiketleri değiştirme. E3 ile E6 için kural belirsizliği ve girdi yetersizliğini ayır. Kalite kabul sınırı, fiziksel kusur veya ortak doğru etiket uydurma. Rehberde açıklanacak noktaları, sorumlu incelemesini ve beklenen ek kanıtı tablo halinde öner.

Bağımsız ilk tur: 6/8 anlaşma, yüzde 75. Anlaşmazlıklar E3 ve E6. Bu oran model doğruluğu değildir.
Rehber taslağı v2: kapsamı ve görüntü koşullarını belirt; sınır örneklerini kalite sorumlusunun onayına sun; yeterli gözlem yoksa Belirsiz kaydı aç.
E3: sınır tanımı bekleniyor. E6: ek görüntü bekleniyor.
İlk K/N etiketleri korunur. Yeni karar, kanıt ve sorumlu incelemesi tamamlanmadan kesinleştirilmez.

Belirsiz durumunu eklemek bütün eski etiketleri otomatik olarak üçüncü bir sınıfa dönüştürmez. Önce bu durumun ne zaman kullanılacağını tanımlayın: görüntü yetersizliği, kapsam dışılık ve gerçek karar sınırı aynı neden olmayabilir. Sonraki model görevi iki sınıflı kalacaksa bu kayıtların eğitim veya değerlendirmede nasıl ele alınacağı ayrıca kararlaştırılmalıdır. Belirsizleri sessizce silmek veri kapsamını daraltır.

Rehber iyileşmesini yeni kayıtlarla değerlendirin

Ortak toplantıda bütün satırlarda uzlaşılması bağımsız anlaşmanın yüzde 100’e çıktığını göstermez. Aynı sekiz kaydın cevabı artık katılımcılar tarafından biliniyor olabilir. Gözden geçirilmiş rehberi benzer koşullardaki yeni kayıtlarla, yine bağımsız bir turda deneyin. Kullanılan sürümü, sınıf dağılımını ve belirsiz kayıt sayısını raporlayın. Sonucu yalnızca daha yüksek tek bir oranla karşılaştırmak, görevin kolaylaşmasını veya zor kayıtların çıkarılmasını gizleyebilir.

1. Kapsam ve gözlem koşulları açık mı?
2. İlk kararlar değişmeden duruyor mu?
3. Anlaşmazlığın nedeni kayda geçmiş mi?
4. Belirsiz durum için ek kanıt ve sorumlu belli mi?
5. Yeni turda aynı cevapların ezberlenmesi önlenmiş mi?

Küçük alıştırma: E3 için görüşme sonunda ortak K etiketi benimsendi, E6 ise belirsiz kaldı. İlk turun anlaşması kaçtır? Yine 6/8, yani yüzde 75’tir. E3’ün yeni kararı ayrı bir inceleme sonucudur. Onu ilk bağımsız sütunlara yazıp 7/8 hesaplamak başlangıç verisini değiştirir. E6’yı paydadan çıkarmak da başka bir ölçüm tanımı yaratır; değişiklik açıkça belirtilmelidir.

Tamamlanmış çıktı, sekiz harften daha fazlasını içerir: ilk etiketler, anlaşma hesabı, iki inceleme kaydı ve rehberde açıklanacak koşullar birlikte saklanır. Böylece model geliştirme ekibi hangi kararların güvenilir dayanağı olduğunu, hangilerinde insan incelemesinin sürdüğünü görebilir. Etiket kalitesi konuşması soyut bir beklentiden somut bir çalışma kaydına dönüşür.