AI eğitim verisini tarihe göre ayırdınız; hedefler test dönemine taşıyor mu?

Eski satırın hedefi henüz oluşmamış olabilir

Model verisini tarihe göre böldünüz: eski satırlar eğitimde, yeni satırlar testte. Buna rağmen eğitimdeki son satırın hedefi test dönemindeki gözlemlerden hesaplanıyor olabilir. Satırın başlangıç tarihinin geçmişte olması, o satırın etiketinin de o anda bilindiğini göstermez. İleriye dönük bir toplam veya olay etiketi kullanıyorsanız her hedefin ne zaman tamamlandığını ve sisteme ne zaman ulaştığını ayrıca kontrol edin.

Bu uygulamada bir üretim veya bakım tahmini çalıştırmıyoruz. Eşit aralıklı sentetik dönemlerde bir sonraki üç dönemin kart sayısını hedef olarak hesaplıyoruz. Amaç model başarısını ölçmek değil, eğitim için kullanılan etiketlerin test başlangıcında gerçekten öğrenilebilir olup olmadığını denetlemek. Başlangıç zamanı, hedef dönemi ve öğrenilme anını tek bir tarih sütununa sıkıştırmak bu ayrımı gizler.

Kesim anındaki bilgi sırasını açık tanımlayın

Dönemler t=0,1,2,… olarak numaralansın. t anındaki tahminin hedefi y(t)=z(t+1)+z(t+2)+z(t+3) olsun. Her z(k) gözlemi tam k anında kapanıp sisteme gelir. Test t=8’de başlar; o anda z(8) önce kayda alınır, ardından model dondurulur ve t8 tahmini yapılır. Bu sıralama örneğe özel açık varsayımdır. Gerçek kayıtta bir gecikme varsa öğrenilme anı buna göre değişir.

Yalnız satır başlangıcı 8’den küçük olsun derseniz t6 ve t7 eğitim listesine girer. Fakat hedefleri sırasıyla 9 ve 10 anlarında tamamlanır. t8’de dondurulan eğitim süreci bunları bilemez. Bu iki satırı çıkarmak test dosyasını gizlemekten farklı bir kontroldür; eğitim dosyasının içindeki etiketin zaman kapsamını denetler. Kaynakta başka geçmiş özellikler doğru olsa bile hedefin olgunlaşma koşulu ayrıca sağlanmalıdır.

Bir hedef toplamını sayılarla görün

z1=1, z2=2, …, z12=12.
y(t4)=5+6+7=18; t7’de bilinir.
y(t5)=6+7+8=21; t8’de bilinir.
y(t6)=7+8+9=24; t9’da bilinir.
y(t7)=8+9+10=27; t10’da bilinir.

Bugün bütün gözlemler tamamlandığı için dosyada 18,21,24,27 sayıları yan yana durabilir. Bu görünüm tarihsel eğitim anında hepsinin mevcut olduğu anlamına gelmez. Kontrolü yeniden kurarken yalnız son veri tablosunu değil, etiketin erişilebilir olduğu zamanı kullanın. Sonradan gelen veya düzeltilen kayıtlar varsa ilk bilinen değer ve düzeltme zamanı ayrı izlenmelidir; güncel doğru değer geçmişte de biliniyormuş gibi geriye taşınmaz.

Bu koşullarda t0’dan t5’e kadar eğitim, t6/t7 için dışlanan sınır aralığı, t8/t9 için test ayrımı kurulabilir. Çıkardığınız iki satır bozuk veri değildir; bu kesim anında eğitim için uygun değildir. Başka ve daha geç bir eğitim kesiminde etiketleri tamamlanmışsa yeniden kullanılabilirler. Durumun satırın kalıcı niteliği yerine çalışma kesimine bağlı olduğunu kayıt defterinde belirtin.

Gap sayısı tek başına zaman kanıtı değildir

scikit-learn TimeSeriesSplit belgesinde gap, her eğitim kümesinin sonundan testten önce dışlanan örnek sayısıdır. Bu bir süre birimi değildir. Eşit aralıklı örneğimizde iki satır dışlamak t6 ve t7’yi çıkarır; düzensiz tarihlerde gap=2 demek iki saat veya iki gün aralık bulunduğunu söylemez. Uygun boşluğu hedefin öğrenilme anından türetmek gerekir.Kaynak: scikit-learn — TimeSeriesSplit

Bu küçük bölme, gelecekte kullanılacak bütün model koşullarını doğrulamaz. Özellik hesapları, aynı fiziksel varlığın tekrarı ve model seçimi için test geri bildiriminin kullanımı ayrı incelemelerdir. Burada verilen kanıt yalnız eğitim hedeflerinin kesimde bilindiği koşulunu sağlar. Bir denetim raporunda “veri sızıntısı yok” gibi bütün süreci kapsayan cümle yerine hangi zaman koşulunun kontrol edildiğini somut yazın.

Etiketin hazır olma anını isteyen istem

Eşit dönemler t0…t9. Hedef y(t)=z(t+1)+z(t+2)+z(t+3); z(k) tam k anında alınır. Kesim t8, z8 kaydından sonra model dondurulur. Eğitim adayı t0…t7, test t8/t9. Her eğitim satırının hedef bitişini ve bilindiği anı hesapla; en fazla 8 koşulunu uygula. Kullanılabilir ve dışlanan satırları ayır. Gap değerini örnek sayısı olarak yaz. Gerçek model eğitimi, performans veya bütün sızıntı türlerinin temizliği iddia etme.

İstemi gerçek veriye uyarlarken erişim zamanını olay zamanından ayrı verin. Olay t7’de olmuş ama t9’da sisteme gelmişse t8 eğitimi için hazır değildir. Bir modelin gerçek kullanım anında hangi kayıtları okuyabildiği, olayların ne zaman yaşandığı kadar önemlidir. Eksik bir erişim zamanı alanını olay zamanıyla otomatik doldurmak yerine kaynağın kayıt davranışını doğrulayın. Böylece tarihsel testinizin mümkün olmayan bilgiyi kullanmasını önlersiniz.

• Her hedefin kapsadığı son dönem belli mi?
• Etiketin sisteme geliş zamanı kesimden önce veya tanımlı eşit anda mı?
• Gap değeri süre diye yorumlanmış mı?
• Dışlanan satırlar nedenleriyle korunmuş mu?

Ufuk ve kayıt gecikmesi değişince

Kesim t8 kalsın, hedef ufku beş döneme çıksın: y(t), z(t+1) ile z(t+5) arasının toplamı olsun. t0…t7 eğitim adaylarından hangileri kalır? Ardından ilk üç dönemlik ufka geri dönün, fakat her z kaydının bir dönem gecikmeyle geldiğini varsayın. Bu iki bağımsız senaryoda son uygun eğitim satırını ayrı bulun; tek bir gap sayısını bütün görevlere taşımayın.

Beş dönemlik ufukta t+5≤8; son uygun satır t3, dışlananlar t4…t7, dört örnek. Üç dönem ufuk ve bir dönem geliş gecikmesinde t+3+1≤8; son uygun t4, dışlananlar t5…t7, üç örnek. Eşitlik, tanımlı kesim sırasıyla kabul edilir.

Bölme kaydını yalnız eğitim ve test dosya adlarından oluşturmayın. Kesim anı, hedef ufku, gözlemin geliş kuralı ve dışlanan kimlikler de teslimin parçası olsun. Böylece AI destekli veri hazırlamada kullanılan boşluğun ezberlenmiş bir sayı mı, gerçek bilgi zamanından türetilmiş bir karar mı olduğu görülebilir.