Etiketler değişince eski test sonuçları hâlâ aynı şeyi mi ölçüyor?

Model aynı olsa bile hedefiniz değişmiş olabilir

Kalite ekibi eski test dosyasında tek bir kusur etiketi kullanıyordu. Yeni dönemde çizgi izi ile eksik baskıyı ayrı raporlamak istiyor. Eski etiket sütununu yeni adlarla değiştirmek kolay görünür; fakat “kusur” sözcüğü hangi dar sınıfın doğru olduğunu söylemez. Modeli güncellemeden önce değerlendirme hedefinin kendisi değişmiştir. Bu ayrımı atlamak, yeni başarı tablosunun hangi gerçeğe göre hesaplandığını belirsiz bırakır.

Aşağıdaki sözlükler, parça kayıtları ve kanıt notları sentetiktir. Gerçek üretim görüntüsü incelenmemiştir. Kayıtların kanıt alanlarını, bu eğitim için doğrulanmış kabul edilen kısa gözlem kartları olarak kullanıyoruz. Gerçek bir uygulamada gözlem kartı görüntünün yerine her zaman geçmez; yeni tanım için özgün görüntünün yeterliliği ayrıca değerlendirilmeli ve yetkili etiketleyici kararı kaydedilmelidir.

Bu küçük örnekte IZ ile BASKI birbirini dışlayan sınıflar olarak tanımlanmıştır; ikisi birden varsa yeni rehberde ek inceleme gerekir. N ve U tanımları iki sürümde aynıdır. Bu koşulları yazmadan sadece kod adlarına bakarak geçiş planı kurmayın. Gerçek sözlükte aynı harf korunmuş olsa bile anlamı değişmiş olabilir. Kod eşitliği, tanım eşitliğinin yerine geçmez.

Geniş kavramdan dar etikete tahminle geçmeyin

W3C SKOS, farklı kavram şemaları arasında eşdeğer, geniş ve dar eşleşmeleri ayrı ilişkilerle ifade eder. Bu ayrım bize geçiş tablosunun dilini kurmak için yardımcı olur. Burada tam bir SKOS veri modeli uygulamıyoruz; beş kayıtlık göç tablosu özgün bir eğitim tasarımıdır. Bir geniş kavramın iki dar kavramla ilişkili olması, her eski kaydın hangisine ait olduğunu kendiliğinden belirlemez.Kaynak: W3C — SKOS Reference, Mapping Properties

S1 sözlüğünde N normal, K çizgi izi veya eksik baskı, U değerlendirilemiyor. S2 sözlüğünde N ve U aynı anlamda; K yerine birbirini dışlayan IZ ve BASKI var. Beş kayıt için eski etiketi koru, yeni etiketi yalnızca tanım ve kanıt yeterliyse ata. K4 için özgün kanıt yok; tahminle dar sınıf seçme. Her satırda geçiş yöntemini, kanıtı ve inceleme durumunu yaz. Açık kayıtları toplamdan sessizce çıkarma. Modelin tahminini gerçek etiket yerine kullanma.

İyi bir yanıt K2 ile K3’ü aynı yöntemle ama farklı kanıtla taşır. K1 ve K5 ise tanım korunması sayesinde doğrudan eşlenebilir. K4’e rastgele bir dar etiket verilmez. Yapay zekânın “muhtemelen çizgi izi” açıklaması, eksik görüntüyü tamamlamaz. Bu satır, sözlük geçişinin hangi kısmında yeniden insan incelemesi gerektiğini gösteren değerli bir kayıttır.

Dört hazır kayıt ve bir açık karar

Beş kaydın tamamı çıktıdadır. İki doğrudan eşleme ve iki kanıta dayalı yeniden etiketleme vardır; bir kayıt açıktır. Yeni etiket atanabilen pay 4/5, yani yüzde 80’dir. Bu bir model doğruluğu değildir. Ayrıca U etiketinin atanması görüntünün değerlendirilebilir olduğu anlamına gelmez; yalnızca “değerlendirilemiyor” durumunun yeni sözlükte de korunmasıdır. Etiket geçişinin tamamlanması ile model değerlendirmesine uygunluk ayrı kararlar olabilir.

S2 sonuçlarını hesaplayacaksanız hangi kayıtların hangi ölçüte dahil edildiğini açıklayın. K4 için doğru dar sınıf bilinmediğinden dar sınıf doğruluğu hesaplanamaz. U kayıtlarını ölçüme dahil etme kuralınız da açık olmalıdır. Bu yazıdaki yüzde 80’i model puanı diye raporlamak, veri hazırlığı çıktısıyla değerlendirme çıktısını birbirine karıştırır. Önce hedef etiketlerin kapsamı tamamlanmalı, sonra ölçümün paydası belirlenmelidir.

S1 → S2 göçü: 5 kayıt korundu. 2 doğrudan eşleme, 2 kanıtla yeniden etiketleme, 1 açık inceleme. K4 dar sınıfa atanmadı; özgün görüntü isteniyor. Eski S1 etiketleri silinmedi. Bu kayıt bir model karşılaştırması veya canlı kalite onayı değildir.

Geçiş dosyasında kayıt kimliği, eski sözlük sürümü, eski etiket, yeni sözlük sürümü, yeni etiket, kanıt konumu ve karar sorumlusu bulunabilir. Gerçek tarihler biliniyorsa kaydedilir; bilinmeyen bir etiketleme tarihini bugünün tarihiyle doldurmayın. Göçün yapıldığı tarih ile özgün etiketin üretildiği tarih aynı bilgi değildir. Bu ayrım daha sonra eski raporların hangi tanıma dayandığını izlemeyi sağlar.

• Kayıt sayısı ve kimlikleri korunmuş mu?
• Aynı kodun anlamının da aynı kaldığı doğrulanmış mı?
• Geniş etiketten dar etikete geçişte ayrı kanıt var mı?
• Açık kararlar görünür mü; model tahminiyle doldurulmuş mu?
• Yeni ölçümde kullanılan sözlük sürümü ve payda açıklanmış mı?

K4 için görüntü gelirse ne değişir?

Alıştırmada K4 için sonradan yeterli kalitede bir görüntü ulaştığını ve yetkili incelemenin “yalnızca eksik baskı” sonucunu verdiğini varsayın. Eski dosyayı silmeden geçiş kaydını güncelleyin. Yeni atanabilen kayıt sayısını ve önceki raporda neyin korunacağını yazın. Bu yeni kanıtın daha önce varmış gibi gösterilmesi kabul edilen çözüm değildir.

K4: S1 etiketi K olarak korunur; S2 etiketi BASKI olur. Karar yeni kanıta bağlanır ve gerçek inceleme tarihiyle kaydedilir. Atanabilen kayıt sayısı 5/5 olur. Önceki 4/5 göç raporu, o günkü kanıt kapsamını gösterdiği için geçmiş kaydı olarak tutulur.

Eğitim uygulamanız için bütün veri kümesini taşımadan önce bu tür küçük bir geçiş örneği hazırlayın. Değişmeyen tanım, ikiye ayrılan tanım ve eksik kanıt içeren en az birer kayıt seçin. Çıktınız, otomatik taşınabilen alanlarla yeniden inceleme işini görünür hale getirsin. Böylece yeni etiket sözlüğünün gerçek iş yükünü ve eski testlerle karşılaştırma sınırını daha erken görebilirsiniz.