Yapay zekânın öğrenme sorusu cevabı ele veriyor mu?

Doğru işaret, öğrenmenin tek başına kanıtı değildir

Yapay zekânın hazırladığı küçük sınavda bütün soruları doğru yanıtladınız. Sonra doğru seçeneklerin hep daha uzun olduğunu fark ettiniz. Bazı soruların kökü de cevabı başka sözcüklerle açıklıyordu. Konuyu bilmeden kullanılabilen bu işaretler, kendi öğrenmenizi olduğundan güçlü değerlendirmenize yol açabilir. Soruyu çözmeden önce soru tasarımını denetlemek, cevabı öğrenmekle aynı çalışma değildir; iki aşamayı ayrı oturumlarda yürütmek gerekir.

Bu yazıdaki arşiv kuralları ve soru taslakları sentetiktir. Gerçek bir sınavın soruları veya bir modelin ölçülmüş çıktısı değildir. Amaç, kişisel çalışmada kullandığınız sorunun hangi beceriyi yokladığını görebilmektir. Bir soruyu düzeltmek onun geçerli ve güvenilir bir ölçme aracı olduğunu tek başına kanıtlamaz. Burada tamamlayacağınız çıktı, gerekçesi izlenebilen bir soru ve onun kontrol kaydıdır.

Waterloo Üniversitesi’nin çoktan seçmeli soru rehberi, soru kökündeki sözcüklerin doğru seçeneği ele vermesinden kaçınmayı, makul yanlış seçenekler kullanmayı ve seçeneklerin dilini dengeli tutmayı önerir. Bu ilkeleri aşağıdaki özgün örneğe uyguluyoruz. Rehberdeki örnek soruları çoğaltmak yerine hangi ipucunun hangi yorum sorununa yol açtığını kendi kaynak kartımız üzerinde inceleyeceğiz.Kaynak: University of Waterloo — Designing Multiple-Choice Questions

Önce ölçülecek kuralı sabitleyin

A1: Bir dosya ancak etiket bilgisi ve sürüm bilgisi birlikte tam olduğunda arşive aktarılır.
A2: Bu iki alandan biri eksikse dosya tamamlanma bekleyen listede tutulur.
A3: Eksik bilgi, dosyanın silinmesi için gerekçe değildir.
Sınanacak durum: D7 dosyasının etiketi tam, sürüm bilgisi eksik.

Ölçmek istediğimiz beceri iki koşulu birlikte uygulamaktır. Dosya adını hatırlamak veya uzun bir cümleyi seçmek değildir. Kural kartını çalıştıktan sonra kapatarak soruyu çözebilirsiniz. Ancak aşağıda cevap anahtarı da bulunduğu için bu sayfayı ilk kez okurken yapılan seçim bağımsız öğrenme kanıtı sayılmaz. Sayfanın ilk kullanımı soru tasarımını öğrenmek içindir; kendi oturumunuzda anahtarı ayrı tutun.

Sürüm bilgisi tamamlanana kadar bekletilmesi gereken D7 için hangi işlem yapılır?
A) Arşive aktarılır.
B) Sürüm bilgisi tamamlanıncaya kadar bekleyen listede tutulur.
C) Silinir.

Son satır, yanlış seçeneklerin rastgele uydurulması anlamına gelmez. Arşive aktarmak, tek tamamlanmış alanı yeterli sanma hatasını temsil edebilir. Silmek ise eksikliği kalıcı ret gerekçesi sayma hatasıdır. Böylece yanlış işaretin ardından verilecek geri bildirim de belirginleşir. Yalnızca seçeneğin harfini söylemek, hangi düşünme adımının yeniden çalışılacağını göstermez.

Cevabı saklayan, gerekçeyi koruyan sürüm

Bağlam: A1–A3 kuralını kendi kendime uygulama becerimi sınayacağım. Girdi: kaynak kartı ve kusurlu D7 sorusu. Kökte yalnızca durum bilgisini ver; yapılacak işlemi söyleme. Üç kısa ve dil bakımından benzer seçenek yaz. Her yanlış seçeneği bir kural hatasına bağla. Yeni arşiv kuralı ekleme. Çıktı iki ayrı bölüm olsun: öğrenci sorusu ve ayrıca saklanacak cevap anahtarı. Kontrol: kaynak altında yalnızca bir seçenek uygun olmalı.

D7 dosyasının etiket bilgisi tam, sürüm bilgisi eksik. A1–A3 kurallarına göre sonraki adım hangisidir?
A) Dosyayı arşive aktarmak.
B) Dosyayı tamamlanma listesine almak.
C) Dosyayı listeden silmek.

Beklenen seçenek: B. A1 iki alanın birlikte tam olmasını gerektirir; D7 bu koşulu sağlamaz. A2 bekleyen listeyi tarif eder. A, tek alanı yeterli kabul eder. C, A3 ile çelişir. Cevap harfi tek başına gerekçe değildir.

Seçenekleri tam olarak aynı karakter sayısına zorlamak dilin açıklığını bozabilir. Aranan denge, doğru seçeneğin tek ayrıntılı veya tek dilbilgisel olarak uygun seçenek olmamasıdır. Aynı şekilde bütün sorularda aynı harfin doğru olması da bir düzen ipucuna dönüşebilir. Seçenek sırasını değiştirirseniz cevap anahtarını da güncelleyin. Bu düzenleme konu bilgisini değiştirmez; yalnızca yanıtın konumdan tahmin edilmesini zorlaştırır.

Tek sorudan sonra komşu soruları okuyun

Bir soru tek başına düzgün olsa da sonraki soru onun cevabını açıklayabilir. Örneğin ikinci sorunun kökünde “Eksik sürümlü dosyalar bekleyen listede tutulduğuna göre…” yazıyorsa ilk karar tekrar verilmiştir. Öğretici açıklama sırasında bu tekrar yararlı olabilir; bağımsız sınama sırasında cevap sızıntısıdır. Soruların amacı ve sunulma sırası, aynı cümlenin nasıl değerlendirileceğini değiştirir.

1. Kök yalnızca durumu mu veriyor, kararı da söylüyor mu?
2. Doğru seçenek tek uzun veya tek ayrıntılı seçenek mi?
3. Yanlış seçenekler hangi düşünme hatalarını temsil ediyor?
4. Başka soru veya başlık aynı cevabı açıklıyor mu?
5. Anahtar kaynakla kontrol edilmiş ve çözümden ayrı tutulmuş mu?

Küçük alıştırma: D8 dosyasında etiket bilgisi eksik, sürüm bilgisi tam olsun. Yeni bir üç seçenekli soru kurun. Beklenen karar yine bekleyen listedir; gerekçe bu kez etiket alanıdır. Ardından D9’da iki alanı da tam yapın: arşive aktarım uygun olur. Bu iki değişiklik, yalnızca D7 için ezberlenmiş “B” yanıtını tekrar etmekten daha açıklayıcı bir kontrol sağlar.

Kontrolünüzü iki ayrı dosyada sürdürebilirsiniz: sorular bir yerde, anahtar ve hata gerekçeleri başka yerde. Yeni bir denemede önce soruları cevaplayıp gerekçeyi kaydedin; ancak bundan sonra anahtarı açın. Soru düzenleme sırasında gördüğünüz cevabı aynı oturumda yeniden işaretlemek, bağımsız bir tekrar sonucu değildir.

Sonraki çalışma kaydınıza seçtiğiniz harfin yanında kısa gerekçenizi yazın. Doğru kararı yanlış gerekçeyle verdiyseniz bunu tamamlanmış öğrenme diye kapatmayın. Soru biçimindeki bir kusuru sonradan bulduğunuzda önceki doğru yanıtı silmek yerine ölçümün sınırını not edin. Böylece gelişiminizi hem konu bilgisi hem de kullandığınız öğrenme aracının niteliği üzerinden değerlendirebilirsiniz.