Yapay zekâ raporunda artışı bir nedene bağlamadan önce.

‘Arttı’ ile ‘artırdı’ aynı iddia değildir

Ücretsiz bir etkinlik için hazırladığınız sayfanın başlığını değiştirdiniz. Sonraki hafta kayıt sayısı 10’dan 15’e çıktı. Yapay zekâ bu bilgiyi ‘Yeni başlık kayıtları yüzde 50 artırdı’ diye özetledi. Hesabın bir kısmı doğru olabilir; cümlenin yüklediği neden ise eldeki veriyi aşar. ‘Arttı’ gözlenen değişimi, ‘artırdı’ belirli bir müdahalenin etkisini anlatır. Düzenleme yaparken önce bu fiili kontrol edin.

Aşağıdaki ziyaretler ve kayıtlar sentetiktir; gerçek bir etkinliğin başarısını anlatmaz. Her haftada aynı tanımla sayılmış 100 tekil sayfa ziyaretçisi olduğunu, kayıtların da bu ziyaretçilerle eşleştirildiğini varsayıyoruz. Bir kişinin tekrar ziyaretleri yeni kişi sayılmıyor. Haftalar arası kişilerin aynı olduğu veya rastgele seçildiği varsayılmıyor. Bu tanımlar, basit oranların hangi kayıtları kapsadığını belirler.

Avustralya İstatistik Bürosu, birlikte değişimin tek başına neden sonuç ilişkisini göstermediğini ve başka etkenlerin incelenmesi gerektiğini açıklar. Burada iki toplamdan bir korelasyon katsayısı hesaplamıyoruz. Daha dar bir soruyu soruyoruz: eldeki karşılaştırma, artışı yalnızca başlığa bağlamaya yeterli mi? Cevabı bulmak için sayıları ve değişen koşulları birlikte okuyacağız.Kaynak: Avustralya İstatistik Bürosu — Korelasyon ve nedensellik

Önce karşılaştırmanın paydasını sabitleyin

Kayıt oranları A için 10 / 100 = yüzde 10, B için 15 / 100 = yüzde 15’tir. Sayı farkı 5 kayıt, oran farkı 5 yüzde puandır. Önceki kayıt sayısına göre göreli artış ise (15 − 10) / 10 = yüzde 50’dir. Bu örnekte paydalar eşit olduğu için kayıt sayısının ve kayıt oranının göreli artışı aynıdır. Bu eşitlik her raporda geçerli değildir.

Bütün bu işlemler gözlenen iki dönemi tarif eder. Yüzde 50 ifadesini ‘50 yüzde puan’ diye yazmak hatalıdır; böyle bir fark yüzde 10’dan yüzde 60’a çıkış anlamına gelirdi. Öte yandan yalnızca ‘5 kayıt daha’ demek de ziyaretçi sayıları değiştiğinde önemli bağlamı gizleyebilir. Son raporda hem kayıt sayısını hem oranı ve paydayı göstermek okuyucunun karşılaştırmayı denetlemesini sağlar.

Başlıkla birlikte başka ne değişti?

Trafik kaynağı dışında takvim, duyurunun zamanı ve ziyaretçilerin önceki bilgisi de sonucu etkileyebilir. Bunların etkili olduğunu kanıtlamış değiliz; mevcut karşılaştırmanın dışlamadığı olasılıkları sıralıyoruz. ‘Asıl neden e-postaydı’ diyerek bir desteklenmeyen açıklamanın yerine başka birini koymayın. İyi bir düzeltme, belirsizliği açık bırakırken gözlenen sonucu da kaybetmez.

Ayrıca aynı ölçüm kuralının gerçekten kullanıldığını kontrol edin. Bir haftada sayfa görüntüleme, diğerinde tekil ziyaretçi sayıldıysa oranlar ortak paydada değildir. Formun kayıt onayı veya tekrarları ayıklama kuralı değiştiyse bunları da not edin. Bu sentetik örnekte ölçüm tanımlarını sabit varsaydık. Gerçek dosyada bu varsayımı veri sorumlusuyla doğrulamadan sessizce kabul etmeyin.

Modelden gözlemi ve açıklamayı ayırmasını isteyin

İki haftalık sentetik tabloyu kullan. Kayıt sayısını, ziyaretçi paydasını, oranları, yüzde puan farkını ve göreli değişimi ayrı göster. Başlık ile trafik kaynağının birlikte değiştiğini belirt. Başlığın artışa neden olduğunu veya e-postanın tek neden olduğunu ileri sürme. Sonucu gözlem, yorum sınırı ve bir sonraki inceleme adımı biçiminde yaz. İstatistiksel anlamlılık veya başarı garantisi ekleme.

A haftasında 100 tekil ziyaretçinin 10’u, B haftasında 100 ziyaretçinin 15’i kayıt oldu. Gözlenen oran yüzde 10’dan yüzde 15’e çıktı: fark 5 yüzde puan, göreli artış yüzde 50. Başlık ve trafik kaynağı birlikte değiştiğinden artışın ne kadarının başlıktan kaynaklandığı bu kayıtlarla belirlenemez. Başlık etkisini incelemek için karşılaştırma koşulları önceden tanımlanmış bir deneme planlanmalıdır.

Bu çıktı gerçek bir model çalıştırmasının sonucu değildir; kendi taslağınızı karşılaştırmanız için elle hazırlanmıştır. Kontrolde özellikle ‘sayesinde’, ‘etkisiyle’, ‘başarısı’ gibi nedensellik yükleyen kelimeleri arayın. Hepsini otomatik silmeniz gerekmez; her birinin dayanağını sorun. Kaynağın yalnızca önce ve sonra toplamlarını vermesi, müdahalenin etkisini ölçtüğü anlamına gelmez.

Bir sonraki karşılaştırmayı önceden tasarlayın

Başlığı incelemek için aynı dönemde benzer uygun ziyaretçileri iki başlığa rastgele yönlendiren bir deneme düşünülebilir. Form, trafik koşulları ve sayım kuralları mümkün olduğunca aynı tutulur; başarı ölçütü ve bitiş zamanı önceden yazılır. Bu, burada yürütülmüş bir deney değildir. Kaç ziyaretçinin yeterli olacağına veya küçük bir farkın güvenilirliğine ilişkin sonuç üretmiyoruz. Bunlar ayrıca planlanması gereken konulardır.

1. Ölçülecek davranış: aynı tanımla tamamlanmış kayıt.
2. Payda: denemeye uygun tekil ziyaretçiler.
3. Değiştirilecek öğe: yalnızca belirlenen başlık.
4. Kayda alınacak koşullar: dönem, atama ve sayım kuralları.
5. Yorum sınırı: sonuçların hangi ziyaretçi grubunu kapsadığı.

Küçük alıştırma: B haftasında 200 tekil ziyaretçi ve 20 kayıt olsaydı ne yazardınız? Kayıt sayısı 10’dan 20’ye çıkar, yani yüzde 100 artardı. Ancak oran 20 / 200 = yüzde 10 olurdu; A haftasıyla aynı kalırdı. ‘Başlık dönüşümü ikiye katladı’ cümlesi oran bakımından da yanlış olurdu. Daha çok kayıt, daha yüksek kayıt olasılığı anlamına gelmez.

Son dosyanızda hesapları, gözlenen değişimi ve açıklama sınırını yan yana bırakın. Böylece bir sonraki raporu hazırlayan kişi yalnızca etkileyici bir yüzdeyi kopyalamaz; o yüzdeden hangi sonucun çıkarılabileceğini de görür. Yapay zekâ metni kısalttığında özellikle bu sınır cümlesinin kaybolmadığını kontrol edin.