Cevabınızdan eminsiniz; peki cevap doğru mu? Öğrenme güvenini sınamak.

“Bunu biliyorum” yargısını sonuçtan önce yazın

Bir açıklamayı birkaç kez okuyunca konu tanıdık gelebilir. Soru geldiğinde cevabınızdan emin olursunuz; anahtarı açınca ise küçük bir koşulu atladığınızı görürsünüz. Yapay zekâdan daha uzun açıklama istemeden önce bu farkı kaydetmek yararlıdır. Hangi konuda yanlış yaptığınız kadar, hangi yanlışın sizi şaşırttığı da bir sonraki çalışma oturumunu seçmenize yardım eder.

Buradaki altı soru, cevaplar ve güven değerleri sentetik bir öğrenme oturumudur. Bir kişinin gerçek becerisini ölçmüyor veya psikolojik değerlendirme yapmıyoruz. Güven, öğrencinin kendi cevabının doğru olmasına verdiği yüzdedir; modelin ürettiği güven puanı değildir. Değer cevap verildikten sonra, cevap anahtarı görülmeden kaydedilir. Anahtarı açtıktan sonra “aslında çok emin değildim” diyerek eski kaydı değiştirmek bu çalışmanın verisini bozar.

Özgün kaynak kartımız bir kütüphane çalışma odasıyla ilgilidir: aynı anda en fazla dört kişi girebilir; rezervasyon en çok 60 dakikadır; uzatma yeni rezervasyon gerektirir; yiyecek içeri alınmaz; su kapaklı şişede olabilir; oda çıkışta görevliye bildirilir. Bu altı kural yalnızca eğitim için uydurulmuştur. Gerçek bir kütüphanenin kullanım koşulları olarak uygulanmamalıdır.

Güven ortalaması ile doğruluk ayrı hesaplanır

Önce cevap anahtarını kaynak kartıyla kontrol edin. G2’de 60 dakika sınırı, G4’te yiyecek kuralı, G6’da çıkış bildirimi ihlal ediliyor. Diğer üç cevap kaynakla uyumlu. Bu nedenle doğruluk 3/6, yani yüzde 50’dir. Güven ortalaması ise (90 + 90 + 80 + 80 + 60 + 60) / 6 = yüzde 76,7 olur. Bu küçük oturumda güven ile gerçekleşen doğruluk arasında yaklaşık 26,7 yüzde puan fark vardır.

Bu fark kişiliğiniz hakkında bir etiket veya uzun vadeli bir ölçüm değildir. Altı sorunun zorluğu, seçimi ve benzerliği sonucu etkileyebilir. Burada amaç, yanlış cevaplarla yüksek güvenin yan yana gelebildiğini görmektir. Daha geniş bir örnek grubunda güven aralıklarıyla doğruluğun ilişkisi ayrıca incelenebilir. Tek bir yanlış yüksek güven kaydı, her konuda kendinize fazla güvendiğinizi kanıtlamaz.

IES rehberi, gecikmeli öğrenme yargıları ve kısa sınavlarla hangi içeriğe tekrar çalışılacağını belirlemeyi önerir; bu iki önerinin kanıt düzeyini minimal olarak işaretler. Buradaki güven tablosu rehberin hazır ölçeği değildir, özgün bir çalışma düzenidir. Bu ayrım önemlidir: altı soruluk örneğimiz için bilimsel olarak doğrulanmış bir başarı eşiği veya garanti üretmiyoruz.Kaynak: IES — Organizing Instruction and Study to Improve Student Learning

Verdiğim altı kurala bağlı yeni sorular hazırla; cevap anahtarını ayrı tut ve ben istemeden gösterme. Cevaplarımı verdikten sonra anahtarı görmeden her cevabım için 0–100 arasında doğru olma güvenimi kaydedeceğim. Sonra cevapları kaynakla değerlendir. İlk güven kayıtlarını değiştirme. Genel doğruluğu ve ortalama güveni ayrı hesapla. Yanlışları yüksek güvenden düşüğe sırala; her biri için kaynak kuralını ve yeni bir uygulama sorusunu öner.

En çok şaşırtan yanlışı önce inceleyin

Üç yanlışın hepsine aynı “tekrar oku” notunu vermek yerine farklı görevler yazabilirsiniz. G2 en yüksek güvenle yanlış cevaplanmıştır. Öğrenci süre sınırını neden 75 kabul ettiğini açıklamalı, sonra 45 ve 75 dakikalık iki yeni isteği karşılaştırmalıdır. G4 için yiyecek ile izin verilen su arasındaki ayrım yeniden kurulabilir. G6 için oda kullanımını bitiren son adımın kaynakta nerede olduğu gösterilebilir.

Doğru ama düşük güvenli G5’i de unutmayın. Bu cevapta kaynak gerekçesini açıklayabiliyor musunuz, yoksa doğru tahminde mi bulundunuz? Bir sonraki oturumda açık şişe ve kapaklı şişe karşılaştırması bunun için kullanılabilir. Doğru yanıtı otomatik olarak kalıcı öğrenme saymıyoruz. Hedef, yalnızca puanı yükseltmek değil, cevabın hangi kurala dayandığını yardımsız gösterebilmektir.

Tekrar sorularını mümkünse ilk oturumdan sonra ayrı bir zamanda çözün. Aynı cevapları hemen yeniden yazmak, kaynak bilgisinden çok az önce gördüğünüz anahtarı hatırlatabilir. Günlüğe tarih, yardım düzeyi ve yeni sorunun hangi kuralı sınadığını ekleyin. Yapay zekâdan aldığınız açıklamayı da ayrı tutun; bir soruyu yardım aldıktan sonra doğru çözmekle yardımsız çözmek aynı gözlem değildir.

• Güven değerleri sonuç görülmeden kilitlenmiş mi?
• Cevap anahtarı kaynak kartındaki kurallara uyuyor mu?
• Yüzde ile yüzde puan doğru adlandırılmış mı?
• Tekrar görevi yanlışın nedenini hedefliyor mu; sadece eski cevabı mı tekrar ettiriyor?

G2 doğru olsaydı ne değişirdi?

Alıştırmada güven değerleri aynı kalsın, yalnızca G2 cevabı “Hayır, en çok 60 dakika” olsun. Genel doğruluğu, yüksek güven grubunun doğruluğunu ve tekrar sırasını yeniden hesaplayın. Güven ortalamasını yükseltmeyin; bu değerler sonuçtan önce kaydedilmiştir. Sonuca bakarak geçmiş güveni değiştirmek, ölçmek istediğiniz ilişkiyi ortadan kaldırır.

Genel doğruluk 4/6 = %66,7 olur. Ortalama güven yine %76,7’dir. En az %80 güven grubunda doğruluk 3/4 = %75 olur. Yanlışların önceliği G4, ardından G6’dır. Bu tek değişim daha iyi uzun vadeli öğrenme kanıtı değildir; yeni bağımsız görevle izlenmelidir.

Bir sonraki çalışmanız için altı satırlık boş bir günlük yeterlidir. Soru, cevabınız, önceden kaydettiğiniz güven, kaynakla doğrulanmış sonuç ve sonraki görev alanlarını kullanın. Oturum sonunda sayılar kadar yanlışların gerekçelerini de okuyun. Yapay zekâ açıklamayı düzenleyebilir; kendi bilginiz hakkındaki yargınızı sınayacak cevapları ise önce siz vermelisiniz.