Aynı parçanın görüntüleri eğitim ve testte birlikte bulunuyorsa.

Ayrı dosya adları ayrı test örnekleri olmayabilir

Görsel kalite denemesinde görüntü dosyalarının bir kısmını eğitime, kalanını teste ayırdınız. Dosya adları iki kümede hiç tekrar etmiyor. Yine de aynı parçanın farklı açılardan çekilmiş görüntüleri iki tarafta bulunabilir. Bu durumda test, daha önce görülmemiş fiziksel parçaları değerlendirme hedefini tam karşılamaz. Önce bağımsızlığın hangi birim üzerinden tanımlanacağını belirlemek gerekir: dosya, parça, parti veya başka bir grup.

Bu çalışmada altı fiziksel parçayı temsil eden on sekiz sentetik görüntü kaydı vardır. Gerçek görüntü, eğitim veya model skoru üretilmez. Her parçanın a, b ve c adlı üç çekimi bulunduğunu varsayıyoruz. Görev yeni fiziksel parçalarda aynı kalite kuralını uygulayabilmektir. Aynı parçanın başka bir açısını tanıma görevi farklı bir değerlendirme hedefi olurdu; burada onu ölçmüyoruz.

scikit-learn kılavuzu, birbirine bağımlı gözlemlerde grup bilgisinin eğitim ve test ayrımında kullanılmasını ele alır. Grup yöntemleri aynı grubun iki tarafta temsil edilmesini önlemek için tasarlanır. Buradaki tablo bu ilkenin araç çalıştırmadan yapılabilen bir eğitim uygulamasıdır. Altı parçanın nasıl ayrılacağına bakacağız; belirli bir modelin genelleme başarısını hesaplamayacağız.Kaynak: scikit-learn — Gruplanmış veri için çapraz doğrulama

Görüntü kaydına fiziksel parça kodu ekleyin

Parça kodları bu örnekte güvenilir kimliklerdir. Gerçek veride dosya adına sonradan eklenen bir kod aynı parçayı tutarlı biçimde takip etmiyorsa önce envanteri düzeltin. Çekim zamanı, kamera ve parti gibi bağlam alanları da inceleme için yararlı olabilir. Ancak hepsini aynı amaçla kullanmak gerekmez; ayrımın hangi bağımlılığı önlemek istediğini açıkça tanımlayın.

Referans etiketlerin bu alıştırmada verildiğini kabul ediyoruz; doğru olduklarını ölçmüş değiliz. Etiket güvenilirliği, ilgili etiketleme anlaşmazlığı yazısında ele alınan ayrı bir konudur. Burada her kümede iki etiketin de görünmesini sağlayacağız. Bu küçük denge, yeterli çeşitlilik veya yeterli örneklem büyüklüğü anlamına gelmez. Görüntü sayısının yüksek görünmesi fiziksel parça çeşitliliğinin yerini tutmaz.

Dosyaları ayırıp parçaları tekrar etmiş olabilirsiniz

İlk taslakta hiçbir dosya adı tekrar etmez ama altı parçanın tamamı hem eğitim hem testte bulunur. Model aynı parçaya özgü arka plan veya yüzey ayrıntılarından yararlanabilir. Bu riskin gerçekten skoru ne kadar etkilediği ölçülmedi; burada yalnızca değerlendirme hedefiyle uyumsuz bağımlılık gösteriliyor. Yüksek bir test sonucu elde edilmiş gibi bir yüzde eklemeyin.

Düzeltilmiş planda bir parçanın bütün çekimleri aynı kümeye gider. Eğitim, modelin öğrenmesi; doğrulama, geliştirme sırasında seçim yapılması; test ise son değerlendirme için ayrılır. Test sonuçlarına bakarak tekrar tekrar ayar seçmek testin rolünü değiştirir. Bu örnekte ikişer parça ayrılması kolay hesap içindir; üç kümeye eşit pay vermenin genel bir öneri olduğu anlamına gelmez.

Her kümede üç normal ve üç izli görüntü vardır; fakat bunlar yalnızca birer normal ve izli parçadan gelir. Altı bağımsız örnek varmış gibi yorumlamak yanıltıcı olur. Rapor, görüntü sayısını ve parça sayısını ayrı vermelidir. Özellikle aynı parçadan çok sayıda görüntü türettiğinizde bu ayrım önem kazanır; çoğaltma farklı fiziksel parçalar yaratmaz.

Modelden parça kesişimlerini açıkça hesaplamasını isteyin

Sentetik P1–P6 kayıtlarını kullan. Yeni fiziksel parçalarda değerlendirme hedefi için her parçanın üç görüntüsünü aynı kümede tut. Eğitim P1/P2, doğrulama P3/P4, test P5/P6 olsun. Her kümenin dosya ve parça sayısını yaz; üç ikili parça kesişimini kontrol et. Referans etiket dağılımını göster ama örneklem yeterliliği veya model başarısı iddia etme. Türetilmiş görüntüler ana parçanın kümesini korusun.

Eğitim: {P1,P2}, 2 parça / 6 görüntü.
Doğrulama: {P3,P4}, 2 parça / 6 görüntü.
Test: {P5,P6}, 2 parça / 6 görüntü.
Eğitim ∩ doğrulama = boş; eğitim ∩ test = boş; doğrulama ∩ test = boş.
Toplam: 6 parça / 18 görüntü. Her kümede iki örnek etiket de var.
Bu, küçük bir bölme alıştırmasıdır; üretim kabulü için yeterlilik kanıtı değildir.

Kesişim kontrolünü yalnızca dosya adlarında yapmayın. Aynı parça başka klasör veya yeni adla kaydedildiyse dosya listeleri farklı görünebilir. Kaynak parça kimliği türetilmiş dosyalara da taşınmalıdır. Aynı zamanda aynı partiden gelen parçalar güçlü biçimde benziyorsa parça düzeyi yeterli olmayabilir. Hedef yeni partiye genellemekse grup tanımının buna göre genişletilmesi gerekir; bu veri o soruyu yanıtlamaz.

Yeni dosya eklemek yeni bağımsız parça eklemek değildir

1. Değerlendirme hedefi yeni dosya mı, yeni parça mı?
2. Parça kimliği bütün çekimlerde tutarlı mı?
3. Üç kümenin parça kesişimleri boş mu?
4. Dosya ve fiziksel parça sayıları ayrı raporlandı mı?
5. Çoğaltılmış veya döndürülmüş görüntüler kaynak grubunda mı?

Küçük alıştırma: P2-a görüntüsünden döndürülmüş P2-a-donuk adlı yeni bir dosya oluşturdunuz. Bu dosya eğitim kümesinde kalır. Eğitim görüntü sayısı yediye, toplam görüntü sayısı on dokuza çıkar; fiziksel parça sayısı hâlâ altıdır. Yeni dosyayı teste koymak, dosya adı farklı olsa bile P2’yi yeniden eğitim ve test arasında paylaşır. Kontrolün neden parça kodunda yapıldığı burada görülür.

Bölme planını dosya listeleri, grup kimlikleri ve amaç notuyla birlikte saklayın. Yeni veri geldiğinde bütün listeyi yeniden karıştırmak yerine önce hangi grubun eklendiğini inceleyin. Böylece değerlendirme sonucunu okuyan kişi testin gerçekten hangi tür yeni örneği temsil ettiğini anlayabilir.