Yapay zekâ eğitimi sonrasında beceriyi yeni bir görevle değerlendirin.

Tamamlanan alıştırmanın hangi kısmını katılımcı yaptı?

Eğitim sonunda herkes düzgün bir çıktı teslim etti. Ancak görev tanımını eğitmen yazdı, kaynak hatasını birlikte buldunuz ve son düzeltmeyi ekranda gösterdiniz. Bu sonuç eğitim oturumunun tamamlandığını gösterir. Katılımcının farklı bir kaynakla aynı denetimi tek başına yapabildiğini henüz göstermeyebilir. Değerlendirme tasarımına başlarken önce yardımın nerede verildiğini görünür kılın.

Hedefi ‘AI kullanabiliyor’ diye geniş bırakmayın. Bu örnekte beceri, bir iş isteğini kaynak ve çıktı ölçütleriyle tanımlamak, üretilen yanıttaki desteklenmeyen kararı yakalamak ve eksik bilgide durmaktır. Yeni görev bu üç hareketi gözlenebilir hale getirmelidir. Arayüzde hızlı yazmak veya etkileyici bir prompt ezberlemek tek başına bu hedefi karşılamaz.

IES rehberi çözülmüş örnekleri problem çözme denemeleriyle birleştirmeyi ve açıklayıcı sorular kullanmayı önerir. Buradaki kurumsal görev tasarımı bu öğretim yaklaşımından yararlanır; belirli bir eğitimin etkisini kanıtlayan deney değildir. Kullanacağımız puanlar ve geçiş koşulları da rehberin standartları değil, bu sentetik alıştırma için açıkça belirlediğimiz ölçütlerdir.Kaynak: IES / WWC — Organizing Instruction and Study to Improve Student Learning

Aynı cevabı çağrıştırmayan yeni bir görev verin

İstek: 18 kişilik iç toplantı için projeksiyon bulunan bir salon seçmeye yardımcı olun. Rezervasyon yapılmayacak.
S1: A salonu 20 kişilik; projeksiyon bilgisi kayıtta yok.
S2: B salonu 12 kişilik; projeksiyon var.
S3: C salonu 8 kişilik; projeksiyon var.
S4: Salonların belirtilen tarihte müsaitliği henüz sorgulanmadı.
Kontrol edilecek AI taslağı: A salonu bütün koşulları karşılıyor, rezervasyonu kesinleştirebilirsiniz.
Teslim: Görev promptu, taslaktaki hata, düzeltilmiş karar notu ve bir doğrulama adımı.

Eğitimde kaynaklı operasyon raporu üzerinde çalışılmışsa salon seçimi yeni bir bağlam sunar. Yine kaynakla iddia eşleştirme becerisi gerekir; fakat öğrenilmiş rapor cümlesini tekrar etmek yetmez. Görev, farklı uzmanlık bilgisi gerektirmeyecek kadar açık tutulmuştur. Projeksiyon cihazının teknik özelliklerini bilmek ölçülmüyor. Sorulması gereken eksik bilginin fark edilmesi ölçülüyor.

Koşulları bütün katılımcılar için aynı yazın: kaynaklar verilir, AI aracı kullanılabilir, eğitmen içerik ipucu vermez ve örnek cevap teslimden önce gösterilmez. Yardım istenirse talebi ve verilen yardımı kaydedin. Erişilebilirlik veya teknik erişim desteğini içerik ipucundan ayırın; bir aracın açılamaması, aynı becerinin bulunmadığına kanıt değildir. Değerlendirilen çıktı ile çalışma koşulları birlikte tutulmalıdır.

Puanın yanında kritik koşul tanımlayın

Bu deneme için örnek kabul koşulu, toplamda en az 8 puan ve iki kritik satırdan da 2 puandır. Böylece düzgün biçim veya iyi yazılmış açıklama, eksik bilgiyi varsayma hatasını telafi edemez. Gerçek eşik kurumun görevi ve riskine göre önceden belirlenmelidir. Sonuçları gördükten sonra başarılı kişi sayısını artırmak için eşiği değiştirmek, farklı bir değerlendirme oluşturur.

Bu profiller gerçek çalışan sonuçları değildir. B örneğinin kabul edilmesi, kişinin her kurumsal AI görevinde bağımsız çalışabileceği anlamına gelmez. A örneğinde ise bütün eğitimi yeniden vermek yerine eksik bilgi ve işlem sınırı üzerinde yeni bir alıştırma yapılabilir. Puanın asıl değeri, sonraki çalışma kararını hangi gözlemin belirlediğini göstermesidir.

Cevap anahtarı ile geri bildirimi ayrı tutun

A salonu yalnızca kişi sayısı koşulunu karşılıyor. Projeksiyon bilgisi ve tarih müsaitliği doğrulanmalı. B ve C salonları tek başlarına 18 kişiyi alamıyor. Mevcut kayıtlardan kesin uygun salon seçilemez. Rezervasyon yapılmayacak. Doğrulama: salon sorumlusundan A’nın projeksiyon durumunu ve hedef tarih müsaitliğini ayrı teyit et.

Bağlam: Yeni görevde kaynak doğrulama becerisini değerlendiriyorum.
Girdi: [görev kartı], [rubrik], [katılımcı çıktısı] ve [insan değerlendiricinin gözlemleri].
Görev: Her ölçüt için çıktıda gözlenen davranışı ve bir sonraki çalışma adımını yaz.
Kısıtlar: Kişilik, motivasyon veya genel yetkinlik sonucu çıkarma. Kaynakta olmayan başarı ekleme. Puan uyuşmazlığını gizleme.
Çıktı: Ölçüt | kanıt cümlesi | düzeltilecek davranış | yeni deneme önerisi.
Kontrol: Nihai değerlendirme insanda kalır; AI geri bildirimi gözlemle karşılaştırılır.

‘Daha dikkatli ol’ yerine ‘Projeksiyon ve tarih müsaitliğini iki ayrı eksik alan olarak yaz’ gibi uygulanabilir bir geri bildirim üretin. İki değerlendirici farklı puan veriyorsa yalnızca ortalamayı almak yerine hangi cümlenin farklı yorumlandığını tartışın. Ölçütün açıklamasını düzeltmek gerekebilir. Katılımcılara aynı standardın uygulanması, rubriğin yalnızca tabloda bulunmasıyla sağlanmaz.

Yeni denemeyi de yeni bir görevle yapın

NIST’in değerlendirme yaklaşımı test koşullarının, yöntemlerin ve ölçütlerin belgelenmesini vurgular. Bu ilkeyi eğitim çalışmasına uyarladığımızda görev sürümü, kullanılan araç, yardım düzeyi ve insan değerlendirmesi kayıt altına alınır. NIST burada bir çalışan puanlama sistemi sunmaz; kayıt düzeni, kendi yönteminizi sonradan denetleyebilmenize yardım eder.Kaynak: NIST — AI RMF Core / Measure

Küçük alıştırma: A salonunda projeksiyon bulunduğu teyit edilsin, fakat tarih müsaitliği hâlâ bilinmesin. ‘A kesin uygundur’ cevabı artık kabul edilir mi? Hayır; bir eksik çözülmüş, diğeri kalmıştır. Yeni görevde katılımcı yalnızca önceki ‘projeksiyon yok’ ifadesini ezberlediyse bu değişikliği doğru yorumlayamayabilir. Beklenen davranış, çözülen alanı güncellerken kalan koşulu korumaktır.

Eğitim raporunda katılım, memnuniyet, bu görevdeki performans ve işte kullanım gözlemini ayrı sunun. Tek bir alıştırmadan kalıcı beceri veya iş sonucu çıkarımı yapmayın. Sonraki uygulama için tarih, yeni görev ve değerlendirme sorumlusu belirlediğinizde elinizde yalnızca eğitim tamamlandı kaydı değil, gelişimin nasıl izleneceğini gösteren bir çalışma düzeni olur.