Model değişmediği halde toplam doğruluk neden düşebilir?

Tek yüzde, iki ayrı değişimi saklayabilir

Görsel inceleme pilotunun doğruluğu bir dönemde yüzde 84, sonraki dönemde yüzde 75 görünüyor. Ekip ilk anda modelin bozulduğunu düşünüyor. Oysa kullanılan sürüm aynı; gündüz ve gece gruplarının ayrı doğrulukları da değişmemiş olabilir. Toplam, daha zor koşuldaki kayıtların payı arttığı için düşebilir. Önce verinin nasıl karıştığını hesaplamak, yanlış bir düzeltme adımına aceleyle başlamayı önler.

Bu uygulama iki sentetik değerlendirme dönemini kullanır. Her dönemde 100 ayrı kayıt vardır. Model sürümünün, doğruluk tanımının ve referans etiketleme kuralının aynı olduğunu varsayıyoruz. Gerçek bir hattın ölçümü yapılmış değildir. Gündüz ve gece adları kayıt gruplarını tanımlar; ışığın tek neden olduğunu kanıtlamaz. Ürün türü veya çekim düzeni gibi başka özellikler de bu gruplarla birlikte değişebilir.

Google’ın üretim sistemlerini izleme rehberi, önemli veri dilimlerinin sonuçlarını toplam metrikle birlikte incelemeyi önerir. Veri dağılımı değişimlerini izlemek de bu denetimin parçasıdır. Aşağıdaki tablo bu yaklaşımın özgün bir hesap alıştırmasıdır. Önce her grubun payını ve doğruluğunu bulacağız; ardından toplam düşüşte karışımın aritmetik rolünü göstereceğiz.Kaynak: Google Machine Learning Crash Course — Üretim sistemlerini izleme

Kayıt sayısı ve doğru sayısını birlikte yazın

A döneminde toplam doğru sayısı 72 + 12 = 84, kayıt sayısı 80 + 20 = 100’dür. Toplam doğruluk yüzde 84 olur. B döneminde 45 + 30 = 75 doğru vardır; 50 + 50 = 100 kayıt içinde doğruluk yüzde 75’tir. Fark 9 yüzde puandır. Gündüz oranları 72/80 ve 45/50 ile yüzde 90, gece oranları 12/20 ve 30/50 ile yüzde 60 olarak aynı kalır.

İki grup yüzdesinin basit ortalamasını almak A dönemini yanlış özetler. (90 + 60) / 2 = yüzde 75 hesabı gruplara eşit ağırlık verir; A’da kayıtların yüzde 80’i gündüzdür. Doğru toplam, kayıt sayılarıyla ağırlıklandırılır: 0,80 × 0,90 + 0,20 × 0,60 = 0,84. B’de gruplar eşit büyüklükte olduğu için basit ortalama tesadüfen toplamla aynı olur.

Aynı oranları farklı ağırlıklarla yeniden hesaplayın

Son satır yeni bir gerçek ölçüm değildir. B’nin grup oranlarını alıp A’nın kayıt paylarıyla hesaplanan standartlaştırılmış bir karşılaştırmadır. Sonucun yüzde 84 olması bu sentetik tabloda toplam farkın karışım değişimiyle aritmetik olarak açıklanabildiğini gösterir. B döneminin gerçekleşmiş doğruluğunu yüzde 84 diye raporlayamazsınız; gerçek B toplamı yüzde 75’tir. Karşılaştırma hesabını gözlemden ayrı etiketleyin.

Aynı grup oranları da sistemin her açıdan değişmediğini kanıtlamaz. Grup içinde farklı ürünler yer değiştirmiş veya bazı hatalar birbirini dengelemiş olabilir. Bu küçük tablo belirsizlik aralığı ya da bütün gelecekteki performans hakkında sonuç vermez. Yine de ilk teşhis için yararlıdır: yalnızca toplam düşüşüne bakarak model sürümünün gerilediği kararını desteklemez.

Modelden düşüşün nedenini tahmin etmesini istemeyin

İki sentetik dönemin kayıt ve doğru sayılarını kullan. Grup doğruluklarını, grup paylarını ve ağırlıklı toplamları ayrı hesapla. B'nin grup oranlarını A'nın yüzde 80/20 karışımıyla ayrıca değerlendir; bunu gözlenen sonuç olarak sunma. Toplamdaki 9 yüzde puan farkı açıkla. Modelin bozulduğunu, gece ışığının tek neden olduğunu veya yeniden eğitimin sorunu çözeceğini iddia etme. Sonraki inceleme için gerekli bilgileri listele.

A: 84/100 = yüzde 84. B: 75/100 = yüzde 75.
Gündüz doğruluğu iki dönemde yüzde 90; gece doğruluğu yüzde 60.
Gece payı yüzde 20’den yüzde 50’ye çıktı.
B oranları A karışımıyla: 0,80 × 0,90 + 0,20 × 0,60 = yüzde 84; bu bir karşılaştırma hesabıdır.
Öneri: gece grubunun hata türlerini, veri kapsamını ve çekim koşullarını inceleyin. Gerçek B toplamını yüzde 75 olarak koruyun.

İzleme kaydına dönem aralığını, hangi kayıtların dahil edildiğini ve referans etiketlerin ne zaman tamamlandığını ekleyin. Son dönemin yalnızca kolay kayıtları etiketlendiyse karşılaştırma tamamlanmış gibi davranmayın. Model sürümünü sabit yazmak da tek başına bütün veri hazırlama akışının sabit olduğunu göstermez; kırpma, boyutlandırma veya kamera ayarı değişikliklerini ayrıca kontrol edin.

Toplamı düzeltmekle koşulu iyileştirmeyi ayırın

Gece grubunun yüzde 60 sonucu, toplam fark karışımla açıklansa da incelenmesi gereken bir kalite sorunu olabilir. Devam kararı gerçek hata maliyetlerine ve önceden belirlenmiş koşul bazlı kabul ölçütlerine dayanmalıdır. Bu yazı üretim kabul eşiği önermez. Yeniden eğitimden önce hatalı kayıt örnekleri, etiket güvenilirliği ve görüntü yeterliliği incelenebilir. Karışımı eski hale getirerek toplamı yükseltmek, gece performansını iyileştirmek değildir.

1. Her grubun payı ve kayıt sayısı görünüyor mu?
2. Toplam doğru sayılarından yeniden hesaplandı mı?
3. Ölçüm tanımı ve sürüm bilgisi karşılaştırılabilir mi?
4. Standartlaştırılmış hesap gözlemden ayrıldı mı?
5. Düşük sonuçlu koşul için inceleme sorumlusu ve kanıt belli mi?

Küçük alıştırma: B’de gündüz 45/50 kalsın, gece doğru sayısı 30’dan 35’e çıksın. Gece doğruluğu yüzde 70’e, B toplamı (45 + 35) / 100 = yüzde 80’e yükselir. Buna rağmen A’nın yüzde 84 toplamının altındadır. Sadece dönem toplamlarına bakan biri iyileşmeyi kaçırabilir. Aynı A karışımıyla yeni grup oranları yüzde 86 eder; bu da yalnızca karşılaştırma hesabıdır.

Tamamlanmış izleme notu hem gerçekleşen toplamı hem koşulların ayrı sonuçlarını içerir. Böylece ekip gerçekten hangi çalışma koşulunun daha çok karşısına çıktığını ve hangi koşulda iyileştirme gerektiğini ayırabilir. Yapay zekânın yazdığı tek cümlelik performans özeti, bu iki tabloya geri dönülebilecek şekilde hazırlanmalıdır.