Pazarlama deneyinin sonucunu yapay zekâyla değerlendirmek: fark var, karar vermek için yeterli mi?

Yüzde 20 artış başlığı neyi saklıyor?

A mesajından 20, B mesajından 24 görüşme talebi geldiği söyleniyor. AI'ın yazdığı ilk başlık ‘B mesajı yüzde 20 daha başarılı’ olabilir. Göreli hesap doğru görünse bile kaç şirkete gönderildiğini, tekrar taleplerin nasıl sayıldığını ve farkın ne kadar belirsiz olduğunu açıklamaz. Sonuç değerlendirmesi, en etkileyici cümleyi bulmaktan önce deney planındaki ölçütü aynı veri tanımıyla yeniden hesaplamayı gerektirir.

Bu yazıdaki E1 sonuçları eğitim için oluşturulmuştur; gerçek kampanya veya model performansı değildir. Önceki planla aynı iki mesaj, şirket bazında tek atama, 400'er şirket ve yedi günlük pencere kullanılıyor. Karar koşulları önceden belirlenmişti: veri bütünlüğü, en az 3 yüzde puanı B−A farkı ve yaklaşık yüzde 95 Wald aralığının pozitif alt sınırı. Sonuçları gördükten sonra bu koşulları değiştirmeyeceğiz. Her yazı bağımsız okunabilsin diye gerekli plan özeti burada tekrar veriliyor.

Talep olayı ile dönüşen şirket aynı sayı değildir

A'da 25 ve B'de 30 olayın bulunması, payların 25 ve 30 olduğu anlamına gelmez. İlk geçerli talepler benzersiz şirketlere aittir; tekrar satırları bunlara eklenmez. Pencere dışı şirketler atanan 400 içinde kalır, fakat yedi günlük sonuç açısından dönüşüm sayılmaz. Test hesapları baştan atama listesinin dışındadır; gerçek sonuç kötü diye sonradan çıkarılmış şirketler değildir. Bu ayrımı kayıt kimlikleri ve önceden verilen dışlama kuralı üzerinden kontrol edin.

Ara okumada açık sekiz pencereyi sıfır dönüşüm saymak doğru değildir. Son okumaya kadar beklenmiş ve burada verilen olay toplamları o kapanışa aittir. Nihai pakette kayıp şirket kimliği veya çözümlenmemiş olay yoktur. Gerçek çalışmada varsa bunlar sırf hesap yapılabilsin diye dışlanmaz; veri sorumlusu inceleyene kadar karar kapısı kapalı kalır. Yanıt gelmemesi ile yanıtın gözlenememesi farklı durumlardır.

Paydayı ve farkın birimini yan yana yazın

Mutlak fark yüzde 6 − yüzde 5 = 1 yüzde puanıdır. Oran biriminde bu 0,01'dir. Göreli artış ise (0,06 − 0,05) / 0,05 = yüzde 20 olur. İkisi aynı karşılaştırmanın farklı sunumudur; 20 yüzde puanı artış değildir. E1 planı en az 3 yüzde puanı iş farkı arıyordu. Gözlenen 1 yüzde puanı bu koşulu sağlamaz; yalnız daha büyük görünen göreli ifadeyi kullanmak karar ölçütünü değiştirmez.

Belirsizlik için bağımsız iki oran varsayımıyla yaklaşık Wald aralığını kullanıyoruz. Standart hata = karekök[0,05×0,95/400 + 0,06×0,94/400] ≈ 0,016117. Yaklaşık yüzde 95 aralık, 0,01 ± 1,96×0,016117 olur: oran biriminde −0,021589 ile 0,041589, yüzde puanında yaklaşık −2,16 ile +4,16. NIST Dataplot bu formülü ve özellikle bazı koşullarda nominal kapsamanın altında kalabilme sınırlamasını açıklar.Kaynak: NIST Dataplot — Difference of proportions confidence limits

Aralık sıfırın iki tarafına uzandığından pozitif alt sınır koşulu da sağlanmıyor. Bu sonuç ‘iki mesaj eşittir’ kanıtı değildir; örnek farkın belirsizliği büyüktür. Yüzde 95 ifadesi B'nin daha iyi olma olasılığı olarak okunmaz. Atama ve bağımsızlık varsayımları sağlanmıyorsa aralığın yorumu da bozulur. Aynı şirketin iki kola düşmesini daha gelişmiş bir formül kullanarak otomatik düzeltemezsiniz; önce veri ve tasarım sorunu çözülmelidir.

Planın üç koşulunu ayrı değerlendirin

A 20/400 (%5), B 24/400 (%6) doğrulanmış görüşme talebi üretti. Gözlenen fark +1 yüzde puanı; göreli fark %20. Yaklaşık %95 Wald aralığı −2,16 ile +4,16 yüzde puanı. Veri kontrolü tamamlandı, fakat önceden belirlenmiş büyüklük ve belirsizlik koşulları karşılanmadı. B'yi kazanan ilan etmiyoruz. Yeni çalışma için iş eşiği, örneklem ihtiyacı ve kaynak kapasitesi yeniden planlanacak; mevcut sonucu iyileştirmek için ölçüt değiştirilmedi.

Yalnız eşitlik testi de kontrol edilmek istenirse NIST'in iki oran yaklaşımında ortak oran 44/800 = 0,055 olur ve B−A yönündeki z yaklaşık 0,62'dir. İki taraflı yüzde 5 düzeyinin 1,96 sınırını aşmaz. Bu ek hesap yeni bir başarı koşulu değildir; aynı belirsizliği başka biçimde gösterir. Deneyin sonucu anlamlı görünene kadar farklı alt gruplar ve ölçütler denemek E1'in planlı sorusuna cevap sayılmaz.Kaynak: NIST — Comparing two proportions

AI'ın hesabını girdilerden yeniden kurun

E1 planını ve verilen olay/gözlem tablolarını kullan. Ham olayları geçerli, tekrar, pencere dışı ve test hesabı olarak uzlaştır. Her kol için 400 atanan şirket paydasını koru. A=20, B=24 geçerli dönüşümle oranları, mutlak yüzde puanı farkını ve göreli farkı hesapla. Yaklaşık %95 Wald aralığını formülle göster. Veri, +3 yüzde puanı ve pozitif alt sınır koşullarını ayrı değerlendir. Kazanan veya eşitlik iddiasını kanıt olmadan yazma.

Küçük alıştırma: AI ara okumadaki 392 şirketi payda yapıp son okumadaki 20 ve 24 dönüşümü kullanıyor. Neyi düzeltirsiniz? Cevap anahtarı: Farklı gözlem anlarının pay ve paydası karıştırılmıştır. Son okumada bütün 400 şirketin penceresi kapanmıştır; payda 400 olmalıdır. Ara okumayı ayrıca göstermek gerekiyorsa yalnız o anda olgunlaşmış kayıtlarla ve önceden belirlenmiş analiz kuralıyla raporlanır; nihai karşılaştırmanın yerine geçmez.

Sonuç notunun sonunda daha çok veri toplama önerisi varsa bunun da yeni bir plan gerektirdiğini belirtin. Aynı denemeyi iyi sonuç çıkana kadar uzatmak, başlangıçtaki sabit okuma düzenini değiştirir. Yeni çalışma amacı ve bütçesi kararlaştırıldığında ayrı kayıt açılır. Bu disiplin, AI'ın hızla ürettiği farklı yorumlar arasında en olumlusunu seçmek yerine, kurumun hangi kanıtla karar verdiğini korumasını sağlar.