Yalnızca şikâyet edilen AI çıktılarıyla kalite ölçülür mü?

Şikâyet kutusu bütün çıktıları temsil etmez

Ekip, yapay zekânın hazırladığı sekiz yanıttan şikâyet aldı. İncelenen altısı hatalı bulundu ve rapora ‘AI hata oranı yüzde 75’ yazıldı. Bu sayı sekiz şikâyetin içinde doğrudur; bütün yanıtları tanımladığı henüz gösterilmemiştir. Kimin hangi koşulda bildirim yaptığı, değerlendirme için hangi örneklerin elinize geçtiğini belirler. Ölçümden önce seçilme yolunu görünür hale getirmek gerekir.

Bu yazıdaki kırk çıktı, şikâyetler ve inceleme kararları sentetiktir. Gerçek kullanıcı davranışı veya model kalitesi ölçülmez. Bir çıktı tek bir kayıt olarak sayılır; aynı çıktı hakkında iki mesaj gelirse iki ayrı çıktı oluşmaz. Hata, önceden tanımlanmış kaynak ve kapsam kuralının ihlali anlamına gelsin. Bir kullanıcının daha kısa metin istemesi bu örnekte tek başına hata sayılmaz.

Statistics Canada, gönüllü veya kişinin kendi seçimiyle oluşan örneklemlerde seçim yanlılığına dikkat çeker. Böyle bir kümenin bütünü temsil ettiği varsayımı ayrıca gerekçelendirilmelidir. Şikâyet kayıtları da burada kullanıcıların bildirme davranışıyla seçilir. Kaynakta anlatılan ilkeyi bu özgün eğitim örneğine uyguluyoruz; bütün şikâyet sistemleri için tek bir düzeltme katsayısı önermiyoruz.Kaynak: Statistics Canada — Olasılıksız örnekleme

İlk incelemenin neyi bildiğini yazın

Şikâyet oranı 8 / 40 = yüzde 20’dir. Şikâyetli çıktılar içindeki hata oranı 6 / 8 = yüzde 75’tir. İlk oran bildirim yaygınlığını, ikinci oran bildirilenlerin inceleme sonucunu anlatır. İkisini birleştirip bütün çıktılar için yüzde 75 hata veya yüzde 80 başarı sonucu çıkaramazsınız. Şikâyet gelmeyen 32 kayıt henüz incelenmemiştir; doğru oldukları bilinmez.

Bu aşamada en az altı hatanın doğrulandığını söyleyebilirsiniz. Fakat diğer kayıtlardaki hata sayısı bilinmediği için genel kalite kesinleşmez. Bazı kullanıcılar küçük sorunları bildirirken bazıları açık hataları bile bildirmeyebilir. Bu davranışların gerçekten hangi yönde etkili olduğunu mevcut sayılar ölçmez. ‘Şikâyet edenler daha titizdir’ gibi kişilik açıklamaları üretmek yerine seçilme mekanizmasını not edin.

Eğitim için bütün kümenin sonucunu açalım

Tam inceleme bilgisi bu alıştırmada sonradan verilmiştir. Genel hata oranı (6 + 4) / 40 = yüzde 25, kurala uygun çıktı oranı yüzde 75 olur. Şikâyetler içindeki hata oranının da yüzde 75 olması bir tesadüftür; aynı sayı zıt anlamlı iki paydada görünüyor. Rapor başlığı ve payda açık değilse okuyucu hangisinden söz edildiğini anlayamaz.

Şikâyetsiz dört hata, bildirim gelmedi diye bir kaydın doğru kabul edilemeyeceğini gösterir. Şikâyetli iki uygun çıktı ise bildirimin otomatik olarak tanımlı hata olmadığına örnektir. Tercih geri bildirimi değersiz değildir; başka bir iyileştirme sorusuna cevap verir. Kalite kuralı, kullanım beklentisi ve şikâyet nedeni ayrı alanlarda tutulduğunda bu ayrım korunur.

Gerçek uygulamada bütün çıktıları inceleyemeyebilirsiniz. O zaman buradaki yüzde 25’i kendi sisteminize taşımayın. Bu değer yalnızca sentetik kırk kaydın tam incelemesidir. Örneklemin nasıl seçildiği, ne kadar büyük olduğu, değerlendirme kuralının tutarlılığı ve belirsizlik ayrıca ele alınmalıdır. Şikâyet verisinden genel oran üretmek için bu örnekteki farkı bir düzeltme formülü gibi kullanmak yanlıştır.

Şikâyet çözümü ile kalite örneklemini birlikte tasarlayın

Sentetik kırk çıktı tablosunu kullan. Şikâyet/çıktı, hata/şikâyet ve tam incelemedeki hata/bütün çıktı oranlarını ayrı hesapla. İlk aşamada şikâyetsiz kayıtların durumunun bilinmediğini belirt. Kullanıcı davranışını tahmin etme. Şikâyet çözümünü sürdürürken bütün çıktı listesinden bağımsız inceleme seçmek için kayıt birimi, dönem, seçim ve raporlama planı öner.

Şikâyet oranı: 8/40 = yüzde 20.
Şikâyet içindeki doğrulanmış hata: 6/8 = yüzde 75.
Eğitim için verilen tam inceleme: 10/40 = yüzde 25 hata.
Şikâyetsiz dört hata bulunuyor; bildirimsizlik doğruluk kanıtı değil.
Takip planı: aynı dönemin bütün benzersiz çıktılarından, şikâyet durumuna bakmadan bir inceleme örneklemi seç; şikâyet çözümünü ayrı izle.

Örneklem planında önce dönemi ve bütün çıktı listesini dondurun. İncelenecek kayıtları yalnızca kolay bulunanlardan seçmeyin. Basit rastgele seçim kullanıyorsanız her kayıt için seçilme şansı tanımlı olsun; seçilen bir kayıt incelenemediğinde onu sessizce başka biriyle değiştirmeyin. Eksik incelemeyi raporlayın. Burada yeterli örneklem büyüklüğünü hesaplamıyoruz; seçim kuralı ile ölçüm sorusunun tutarlılığını tasarlıyoruz.

Bildirim artınca model mutlaka kötüleşmiş olmaz

Bağımsız incelemede aynı hata tanımını kullanmak da gerekir. Şikâyetli kaydı ayrıntılı, rastgele seçileni yalnızca yüzeysel okuyorsanız seçim kuralı düzgün olsa bile karşılaştırma farklı inceleme derinliklerini yansıtabilir. İnceleyen kişiye görev, kaynak ve kabul ölçütünü aynı biçimde verin; hangi kayıtların henüz değerlendirilemediğini ayrı tutun.

1. Sayım birimi benzersiz çıktı mı?
2. Şikâyet ve tanımlı hata ayrı mı?
3. Oranların paydaları başlıkta açık mı?
4. Şikâyetsiz kayıtların nasıl inceleneceği belli mi?
5. Seçilen ama incelenemeyen kayıtlar görünür mü?

Küçük alıştırma: Tam incelemede hatalı olduğu bilinen şikâyetsiz dört kayıttan biri sonradan bildirildi. Yeni şikâyet sayısı 9, şikâyet içindeki hata sayısı 7 olur. Oran 7 / 9, yaklaşık yüzde 77,8’dir. Genel hata sayısı hâlâ 10/40’tır; model yeni bir hata üretmedi. Değişen, aynı kayıtların bildirim durumudur. Raporunuz bu iki değişimi ayrı anlatmalıdır.

Sonuç dosyasını tek bir memnuniyet veya hata yüzdesiyle bitirmeyin. Şikâyetlerin çözüm kaydı ile bütün çıktıları değerlendirme planı birlikte dursun. Yapay zekâ bu kayıtları özetlerken hangi alt kümeye baktığını korursa, yönetim kararı daha fazla bildirim gelmesini otomatik olarak daha kötü kaliteyle karıştırmaz.