Yapay zekâ anket sorusuna beklediğiniz sonucu yerleştirirse.

Yanıt toplamadan önce neyi sorduğunuzu ayırın

Kitap kulübünüzün buluşma notları için kısa bir geri bildirim formu hazırlıyorsunuz. Yapay zekâ “Kısa ve anlaşılır notlarımızdan ne kadar memnunsunuz?” diye soruyor. Cümle nazik, fakat iki özellik daha cevap gelmeden olumlu tanımlanmış. Ayrıca bir kişi metni uzun ama anlaşılır buluyorsa hangi görüşünü işaretleyecek? Soruyu düzeltmeden gelen yanıtları toplamak, sonradan çözülemeyecek bir yorum belirsizliği yaratabilir.

Bu uygulama üç soruluk bir form taslağı üretir. Kitap kulübü ve dört yanıt profili sentetiktir; gerçek kişilerden veri toplanmamıştır. Herhangi bir form yayımlanmaz veya mesaj gönderilmez. Amacımız üyelerin memnuniyet oranını tahmin etmek değil, soru metninin ayrı deneyimleri ifade etmeye izin verip vermediğini sınamaktır. Bu nedenle beklenen çıktı da bir başarı yüzdesinden önce, daha açık sorulardır.

Pew Research Center’ın soru yazımı rehberi, birden fazla kavramı aynı soruda değerlendirmenin yanıtı zorlaştırabileceğini ve sonucu yorumlamayı güçleştirebileceğini açıklar. Açık ifadeler, uygun seçenekler ve sorunun yönlendiren sözcüklerden arındırılması üzerinde durur. Bu yaklaşımı kendi küçük örneğimize uyguluyoruz; rehberdeki kamuoyu araştırmalarının sonuçlarını kitap kulübümüze ait bulgular gibi kullanmıyoruz.Kaynak: Pew Research Center — Writing Survey Questions

Önce vereceğiniz iki kararı yazın

Kulübün vermek istediği kararlar şunlar olsun: buluşma notlarının uzunluğu değişmeli mi ve ana kararlar daha açık yazılmalı mı? Bunlar aynı karar değildir. Metni kısaltmak her zaman açıklığı artırmaz; açıklama eklemek de herkesin uzunluk tercihine uymaz. “Genel memnuniyet” tek başına hangi düzenlemenin yapılacağını göstermez. Böyle bir soru ayrıca sorulabilir, fakat bu iki ihtiyacın yerini tutmaz.

Kısa ve anlaşılır buluşma notlarımızdan ne kadar memnunsunuz?
Çok memnunum / Memnunum / Kararsızım / Memnun değilim

Deneyim sorusu yalnızca teknik bir form ayrıntısı değildir. Hiç okumadığınız metnin anlaşılır olup olmadığını değerlendiremezsiniz. Buna rağmen bir seçenek işaretlemek zorunda kalırsanız yanıt, ölçmek istediğimiz deneyimin yerine tahmininizi taşır. Bu örnekte yalnızca notun tamamını okuyanlardan bütün metin hakkında değerlendirme isteyeceğiz. Kısmen okuyanların neden devam etmediğini araştırmak başka bir soru gerektirir.

Tamamlanmış küçük form taslağı

Bağlam: Kitap kulübünün son buluşma notlarının uzunluğunu ve ana kararların açıklığını ayrı değerlendireceğim. Girdi: kusurlu memnuniyet sorusu ve iki karar ihtiyacı. Önce notun tamamını okuma durumunu sor. Tamamını okumayanlardan uzunluk ve açıklık puanı isteme. Her maddede tek konu olsun; olumlu sonuç varsayma. Çıktı: üç soru, seçenekleri, geçiş kuralı ve yorum sınırı. Kontrol: uzun ama açık bulan kişi görüşlerini çelişmeden işaretleyebilmeli.

S0: Son buluşma notunun tamamını okudunuz mu?
Evet / Hayır / Hatırlamıyorum
Geçiş: Yalnızca Evet yanıtında S1 ve S2 açılır.

S1: Bu notun uzunluğunu nasıl buldunuz?
Kısa / Uygun / Uzun / Değerlendiremiyorum

S2: Notta belirtilen ana kararlar sizin için ne kadar açıktı?
Açık / Kısmen açık / Açık değil / Değerlendiremiyorum

S1’de kısa seçeneğini otomatik olarak iyi kabul etmiyoruz. Okuyucuya göre kısa bir not yeterli ayrıntı içermeyebilir. Aynı şekilde uzun yanıtı tek başına metnin gereksiz olduğunu kanıtlamaz. Sorunun amacı algıyı kaydetmektir; hangi paragrafın düzenleneceğine karar vermek için örnek veya kısa açıklama ayrıca istenebilir. Bir görüş ölçeğini doğrudan nesnel metin kalite puanına çevirmeyin.

S2 de okuyucunun açıklık deneyimini sorar, ana kararları doğru anlayıp anlamadığını ölçmez. Bu başka bir değerlendirmedir: örneğin metindeki bir kararın kendi cümlesiyle açıklanması istenebilir. Dolayısıyla “açık” yanıtını doğru anlama sınavının yerine kullanmayacağız. Sorunun neyi ölçtüğünü bu kadar dar yazmak, çıktıyı küçültmez; hangi iyileştirme için kullanılabileceğini belirginleştirir.

Formu zıt deneyimlerle deneyin

K2, uzunluk ve açıklık sorularına farklı yönde yanıt verebiliyor. K3 için de uygun uzunluk, ana kararların açık olması anlamına gelmiyor. Eski birleşik soru bu farkları tek memnuniyet kutusunda kaybederdi. Burada formun yararını gerçek bir deneyle ölçmüş değiliz; önceden tanımlanmış dört durumda farklı görüşlerin ifade edilebildiğini kontrol ediyoruz. Bu, yayımlama öncesi küçük bir masa başı sınamadır.

Dört sentetik profilin üçü değerlendirme sorularına uygundur. Bu üç profilde uzunluğu uygun bulanlar K1 ve K3; ana kararları açık bulanlar K1 ve K2’dir. Her iki sayım 2 olsa da aynı kişileri kapsamaz. K4 düşük puanlı değildir; değerlendirme soruları ona uygulanmaz.

İki sonuçta da ikişer profil bulunması bütün deneyimlerin aynı olduğu anlamına gelmez. Satır kimliklerini korumak bu farkı görmenizi sağlar. Gerçek uygulamada gerekli olmayan kişisel bilgileri toplamadan da geçici yanıt kimlikleriyle aynı ayrımı yapabilirsiniz. Bu örneğin dört profili herhangi bir kulübün tamamını temsil etmez; sayımlar yalnızca form tasarımını açıklamak içindir.

Soruyu cevaplayan kişinin gözünden yeniden okuyun

1. Cümlede olumlu veya olumsuz sonuç baştan varsayılmış mı?
2. Bir soruya iki farklı gerekçeyle cevap verilebilir mi?
3. Deneyimi olmayan kişi için uygun yol var mı?
4. Seçenekler aynı kavramın farklı durumlarını mı anlatıyor?
5. Sonuçla alınacak karar, sorunun ölçtüğü deneyimle uyumlu mu?

Küçük alıştırma: K4 daha sonra notun tamamını okusun; uzunluğu uzun, kararları kısmen açık bulsun. S0 Evet olur, S1 Uzun ve S2 Kısmen açık olarak kaydedilir. Önceki Hayır yanıtını memnuniyetsizlikten memnuniyete değişim gibi yorumlayamazsınız. İlk kayıtta değerlendirme yoktu; yeni kayıtta deneyim oluştu. Böyle bir tekrar varsa hangi yanıtın hangi okuma anına ait olduğunu da koruyun.

Formunuzu bir başka kişiye okutup hangi kararı işaretlemesi gerektiğini kendi sözleriyle anlatmasını isteyin. Soru metnini açıklamak için uzun bir sözlü yardım gerekiyorsa kökü yeniden yazın. Yapay zekâ kısa sorular üretmekte yardımcı olabilir; iyi bir formun ölçütü, farklı deneyimlerin aynı kutuya zorlanmadan ifade edilebilmesidir.