Yapay zekâyla geri bildirimleri gruplarken farklı sesleri korumak.

‘Katılımcılar daha yavaş anlatım istiyor’ demeden önce

Kısa bir atölyenin sonunda altı yorum aldınız. Yapay zekâ bunları üç maddelik bir geliştirme listesine dönüştürüyor: daha yavaş anlatın, daha çok örnek kullanın, materyalleri iyileştirin. Liste makul görünüyor; fakat kaynakta biri anlatımı hızlı, diğeri yavaş bulmuş. Özet, iki farklı deneyimi ortak bir talep gibi sunmuş olabilir. İyi bir tema analizi bu ayrılığı ortadan kaldırmaz.

Bu yazıdaki bütün yorumlar eğitim amacıyla yazılmış sentetik metinlerdir. Gerçek katılımcı bilgisi içermez. Görevimiz memnuniyet puanı üretmek değil, yorumlarda geçen konuları kanıtlarıyla düzenlemektir. Tema bir konuyu, yön ise o konu hakkındaki değerlendirmeyi gösterir. Bir yorumun iki konuya değinmesi mümkündür; birden fazla tema atamak için metindeki iki ayrı dayanağı göstermek gerekir.

GOV.UK araştırma rehberi, önce gerçekten görülen veya söylenenleri kaydetmeyi, sonra benzer gözlemleri gruplamayı önerir. Bu ayrımı kısa geri bildirimlerde de kullanabiliriz. Aşağıdaki kodlama düzeni rehberin hazır bir ölçeği değildir; ham ifade ile bizim yorumumuzu ayırmak için tasarlanmış küçük bir uygulamadır.Kaynak: GOV.UK — Araştırma oturumunu analiz etme

Yorumları kimlikleriyle koruyun

Burada altı yorum olması altı farklı kişinin görüşü olduğunu kanıtlamaz. Kaynak veri yalnızca yorum kayıtlarından oluşur; kişi eşleştirmesi yoktur. Bu nedenle raporda ‘altı katılımcının’ yerine ‘altı yorumun’ ifadesini kullanın. Gerçek veriyle çalışırken de toplama yönteminin hangi birimi desteklediğini belirleyin. Aynı kişinin iki mesajını iki bağımsız katılımcı gibi saymak sonucu değiştirir.

Y6 olumlu bir genel izlenim taşır, fakat hız, örnek veya materyal hakkında bilgi vermez. Onu en yakın temaya zorlamak kodların anlamını genişletir. ‘Genel olumlu, konu belirsiz’ notuyla ayrı bırakacağız. Bu karar veriyi atmak değildir; metnin desteklemediği ayrıntıyı üretmeden kaydı korumaktır. Sonraki araştırmada daha açık soru sormak için de bir işaret olabilir.

Temaları ve yönleri ayrı tanımlayın

Y1–Y6 sentetik yorumlarını verilen kod defteriyle incele. Her yorum için tema, yön ve kısa kaynak ifadesini yaz. Birden fazla tema varsa ayrı satırlar aç. Hızlı, yavaş ve uygun değerlendirmelerini ortak bir değişiklik talebi gibi birleştirme. Açık dayanağı olmayan temayı atama; Y6 gibi yorumları belirsiz bırak. Son olarak her temaya değinen benzersiz yorum kimliklerini listele. Kişi sayısı, nüfus oranı veya başarı yüzdesi üretme.

İstemde kod defterini vermek kararları incelemeyi kolaylaştırır; modelin atamalarını otomatik doğru yapmaz. Önce kendiniz iki yorum kodlayın ve hangi ifadeye dayandığınızı yazın. Ardından modelin sonucu ile karşılaştırın. Fark çıkarsa yalnızca etiketi değiştirmek yerine dahil etme koşulunun açık olup olmadığını sorgulayın. Bir kodu genişlettiğinizde daha önceki yorumları da yeni tanımla tekrar kontrol edin.

Temanın kaç kez geçtiğini, ne söylendiğiyle birlikte okuyun

Hız temasına Y1, Y2 ve Y4 olmak üzere üç yorum değinir; yönleri birbirinden farklıdır. Örnek temasında Y1 ve Y2 olumlu, Y5 eksiklik bildirir; toplam yine üç yorumdur. Materyal temasında Y3 ve Y5 olmak üzere iki yorum vardır. Tema toplamı 3 + 3 + 2 = 8 eder; bu sayı altı yorumdan büyük olabilir, çünkü Y1, Y2 ve Y5 birden fazla konu içerir.

Bu sekiz tema atamasını sekiz kişi veya sekiz sorun diye sunmayın. Olumlu değerlendirmeler de tema atamasıdır. Aynı yorum aynı temayı iki kez söyleseydi bu raporun sayım kuralında o tema için bir kez sayılacaktı. Kullanılan birimi başlıkta yazmak, sayıların kaynaktan daha güçlü bir iddia taşımasını önler. Küçük sentetik kümeden genel katılımcı eğilimi çıkarmıyoruz.

Materyal erişimi: Y3 ve Y5 bağlantı/dosya sorunu bildiriyor; bağlantıyı farklı bir kullanıcıyla kontrol et.
Anlatım hızı: Y1 hızlı, Y2 yavaş, Y4 uygun bulmuş; tek yönde tempo değişikliği için ortak kanıt yok. Hangi bölümde zorlanıldığını sor.
Örnekler: Y1 ve Y2 yarar bildirmiş; Y5 bağımsız çözüm örneği istemiş. Mevcut örnekleri kaldırmadan ayrı bir alıştırma ihtiyacını incele.
Y6: Genel olumlu; konu düzeyinde sonuç çıkarma.

Özetin her cümlesini ham yoruma geri götürün

1. Her tema atamasının kimliği ve dayanak ifadesi var mı?
2. Aynı kimlik aynı tema sayısına birden fazla eklenmiş mi?
3. Karşıt görüşler özetin içinde görünür mü?
4. Öneri, doğrudan kullanıcı talebiymiş gibi sunuluyor mu?
5. Belirsiz yorumlar ve olumlu kanıtlar kayıtta duruyor mu?

Küçük alıştırma: Y6’yı ‘Örnekler yararlıydı ama anlatım hızlıydı’ olarak değiştirin. Beklenen yeni sayımlar hız için dört, örnek için dört, materyal için iki yorumdur; konu belirsiz kaydı kalmaz. Yorum sayısı hâlâ altıdır. Özetin hız bölümüne yeni hızlı değerlendirmesini ekleyin, fakat Y2’nin yavaş ve Y4’ün uygun görüşlerini silmeyin.

Çalışmanızı ham yorum tablosu, sürüm verilmiş kod defteri, kodlama matrisi ve kısa karar notuyla tamamlayın. Sonraki yorum grubunda aynı tanımları kullanıp yeni bir konu çıktığında bunu açıkça ekleyebilirsiniz. Yapay zekâ burada okuyucuların sesini tekleştiren bir özetçi değil, sizin denetlediğiniz kanıt düzeninin yardımcısı olur.