Yapay zekâ ile pazarlama deneyi planlamak: hangi mesajı, hangi ölçütle sınayacaksınız?

Deneyin neyi değiştireceğini sonuçları görmeden yazın

Pazarlama ekibi iki mesaj hazırlıyor: biri raporu hızlı hazırlamayı, diğeri raporun kaynaklarını izlemeyi öne çıkarıyor. Hangi mesajın daha fazla nitelikli görüşme talebi getirdiğini anlamak istiyorlar. Yapay zekâ başlıkları üretebilir, ama aynı zamanda hedef kitle, teklif ve gönderim zamanı da değişirse sonuç hangi değişkene bağlanacak? Deney planı, karşılaştırmanın hangi soruya cevap vereceğini baştan sınırlar ve sonradan en iyi görünen ölçütü seçmeyi önler.

Burada gerçek alıcılara gönderilmeyen sentetik bir B2B e-posta deneyi tasarlıyoruz. Kayıtlar kurumun izinli iletişim listesinde bulunduğu varsayılan şirketleri temsil eder; hukuki iletişim izni örneğin verdiği bir sonuç değildir. Uygulamanın tamamlanmış çıktısı bir plan dosyasıdır. Henüz ölçülmüş başarı oranı yoktur. Sonuç makalesi aynı plana göre oluşturulmuş sentetik verileri ayrıca işleyecek; tasarım ile gerçekleşmiş gözlemi birbirine karıştırmayacağız.

Mesaj değişsin, karşılaştırma koşulları sabit kalsın

Bir şirketten iki kişi varsa onları iki bağımsız şirket gibi atamayın. Aynı kurumda mesajların paylaşılması, bir kişinin iki mesajı görmesi veya aynı talebin iki kişiden gelmesi sonucu karıştırabilir. Bu örnekte şirket deney birimidir; uygun iletişim kaydı üzerinden tek mesaj alır ve en fazla bir dönüşüm sayılır. Mesaj başına tıklama ise yardımcı gözlemdir, birincil sonuç değildir. Toplantı talebi yerine çok daha yüksek görünen tıklama oranını seçmek planın sorusunu değiştirir.

NIST deney tasarımı rehberi, tasarımın amaç ve koşullara göre seçilmesini ele alır. Burada tek mesaj farkını ve şirket bazında atamayı seçmemiz özgün uygulama kararıdır. Rastgele atama grupların karşılaştırılmasına yardım eder; seçilmiş 800 şirketin bütün pazarı temsil ettiğini tek başına göstermez.Kaynak: NIST — Selecting an experimental design

Bütçenin izin verdiği sayı ile gereken hassasiyeti ayırın

400 şirket/kol, örnek ekibin bu çalışma için ayırdığı kaynak sınırıdır. Küçük farkları güvenilir biçimde yakalamaya yeterli olduğu iddia edilmiyor. Tasarım öncesindeki varsayımsal başlangıç oranı yüzde 5, iş açısından dikkate değer artış ise 3 yüzde puanıdır. Yalnız 400/kol ile bu büyüklükte farkın kesin görüleceği söylenemez; güç ve hassasiyet ayrıca değerlendirilmelidir. Plan bu nedenle sonuç belirsiz kalırsa genişletme kararı vermemeyi açıkça kabul eder.

Bir pencere şirketin gönderim anından başlayarak yedi tam gün sürer. Gönderimler aynı planlı dönemde yapılsa da son şirketin penceresi kapanmadan nihai tablo hazırlanmaz. İlk şirketlerin sonuçları olgunlaşmışken son şirketlerin henüz bir gününün geçmiş olması, gruplardan biri daha geç gönderildiyse karşılaştırmayı bozabilir. İletim hatası da kayıttan silinmez: birincil oran atanan şirketler üzerinden hesaplanır ve teslim durumu ayrıca gösterilir.

Belirsizlik hesabı bağımsız iki oran için yaklaşık Wald yöntemiyle yapılacak; yeterli başarı ve başarısızlık gözlemi gerektirir ve tam kapsama garantisi yoktur. NIST bu yaklaşımın sınırlamalarını ve alternatiflerini açıklar. Çok küçük örneklem veya seyrek dönüşümde aynı formülü otomatik kullanmayın. Yöntem veri görülmeden dosyaya yazılır; sonuca göre tek taraflı teste geçilmez.Kaynak: NIST — Comparing two proportionsKaynak: NIST Dataplot — Difference of proportions confidence limits

Planın çalıştırılabilmesi için hangi alanlar gerekiyor?

Amaç A/B mesajını şirket bazında karşılaştırmak. Plan sürümü E1, sonuçlar görülmeden sabitlendi. Kaynak sınırı 400 şirket/kol; küçük farkları yakalama gücü garanti edilmiyor. Birincil sonuç yedi gün içindeki doğrulanmış görüşme talebi. Her şirket en fazla bir dönüşüm sayılacak. Nihai okuma son pencere kapandıktan sonra yapılacak. +3 yüzde puanı ve pozitif alt güven sınırı koşulları birlikte aranacak. Bu kayıt tasarımdır; gönderim veya deney sonucu değildir.

AI'dan planı eleştirmesini isterken ona yalnız başarı hikâyesi yazdırmayın. Örneğin bir şirketin iki kola düşmesi, olay kaydının kopması veya hedef kitlenin yarısının farklı hizmet görmesi durumlarında hangi kararın geçersizleşeceğini sormak daha yararlıdır. Planın sahibi pazarlama, veri bütünlüğünün sahibi analitik ekibi, iletişim ve teklif onayının sahibi ilgili kurumsal sorumludur. Bu rollerin teyidi, model tarafından hazırlanmış dosyanın dışında gerçek bir iş adımıdır.

Denenen değişkeni değiştiren öneriyi yakalayın

Verilen iki mesaj ve 800 şirketlik sentetik kapsam için E1 planını hazırla. Şirket bazında tek kol, 400/400 kaynak sınırı, yedi günlük pencere ve doğrulanmış görüşme talebi ölçütünü koru. Gönderim koşulları aynı olsun. Veri bütünlüğü, en az +3 yüzde puanı fark ve pozitif yaklaşık %95 alt sınır koşullarını açık yaz. Sonuç üretme; gereken kayıt alanları, sahipler ve durdurma koşullarını ver. Örneklem sınırını yeterli güç garantisi gibi anlatma.

Küçük alıştırma: Ekip B mesajına ücretsiz ek hizmet koymayı öneriyor; A aynı kalacak. Bu düzen mesajın etkisini ölçer mi? Cevap anahtarı: Artık yalnız mesaj değişmiyor, teklif de değişiyor. Böyle bir deney yapılabilir ama sorusu paketlenmiş mesaj+teklif farkı olur. E1'in tek mesaj karşılaştırması olarak yorumlanamaz. Amaç yalnız mesajı sınamaksa ek hizmet iki kolda da aynı olmalı; yeni amaç seçilirse plan sonuçlar görülmeden yeniden tanımlanmalıdır.

Dosyayı tamamladığınızda karar verememe sonucunu da kabul edilebilir çıktı olarak görün. Sınırlı kaynakla yapılan bir çalışma bazen yeni soruyu veya gereken veri miktarını gösterir. Beklenen iş kararını vermek için kanıt yetmiyorsa bunu açık söylemek, küçük bir olumlu farkı başarıya dönüştürmekten daha yararlıdır. Serinin sonuç yazısı, E1'in koşulları sabitken aynı verilerin nasıl farklı ve yanıltıcı başlıklara dönüşebileceğini hesap üzerinden gösterecek.