AI pilotunda ilk denemenin yükü hangi yönteme yazılıyor?

Yöntem ile deneme sırası aynı şey değildir

Ekibiniz önce bir bilgi notunu elle hazırlıyor, sonra benzer işi yapay zekâyla yapıyor. İkinci tur daha kısa sürüyor. Bu farkın bir bölümü araca, bir bölümü görevi artık tanımaya bağlı olabilir. Manuel yöntem hep ilk sıradaysa iki açıklamayı ayırmak zorlaşır. Süreyi doğru toplamanın yanında hangi yöntemin hangi sırada denendiğini de tasarlamak gerekir.

Bu yazıdaki dört katılımcı, görevler ve süreler sentetiktir. Gerçek eğitim veya pilot sonucu değildir. Amaç, karşılaştırmaya başlamadan önce yöntem ile sıra dağılımını görünür hale getiren bir plan hazırlamaktır. Dört kişilik örnek istatistiksel yeterlilik, anlamlılık veya kesin AI etkisi iddiası taşımaz. Sayılar, aynı toplamın altında farklı deneme koşulları bulunabileceğini öğretmek için seçilmiştir.

NIST’in deney tasarımı rehberi, asıl incelenen etken dışındaki değişkenlerin de sonucu etkileyebileceğini açıklar. Kontrol edilebilen etkenleri tasarım içinde ele almak ve uygun rastgeleleme kullanmak bu karışmayı azaltmaya yardımcı olur. Burada bu genel yaklaşımı özgün bir yöntem, görev sürümü ve sıra tablosuna uyarlıyoruz. Verilen planın bütün olası öğrenme etkilerini ortadan kaldırdığı söylenemez.Kaynak: NIST — Randomized block designs

Karşılaştırılacak işi ve kalite koşulunu sabitleyin

Görev A: İç buluşma için üç kaynak notundan kısa durum metni ve açık işler tablosu hazırla. Veriler: 14 kayıt, 9 tamamlanan, 5 açık; açık işlerin 3’ü bilgi bekliyor, 2’si incelemede. Son tarih verilmedi.
Görev B: İç materyal paketi için aynı iki çıktıyı hazırla. Veriler: 16 kayıt, 10 tamamlanan, 6 açık; açık işlerin 4’ü bilgi bekliyor, 2’si incelemede. Son tarih verilmedi.
Kabul: Sayılar tutarlı, alt gruplar toplamla eşleşmiş, bilinmeyen tarih eklenmemiş ve iki çıktı da tamamlanmış olmalı.

Görevler aynı yapıdadır ama farklı sayılar ve bağlam kullanır. Bu onları otomatik olarak eşit zorlukta yapmaz. Gerçek çalışmada örneklerin anlaşılabilirliği ve iş yükü önceden gözden geçirilmelidir. Aynı metni ikinci kez vermek yanıtın doğrudan hatırlanmasını kolaylaştırabilir; farklı metin vermek ise görev zorluğu farkı yaratabilir. Tasarım bu iki bedeli açıkça taşır, ikisini de görünmez saymaz.

Süre penceresi iki yöntemde de aynı olsun: kaynağı açma, işi hazırlama, kontrol ve düzeltme dahil. Bütün sekiz çıktının verilen kabul koşulunu sağladığı bu örnekte varsayılmıştır. Gerçek pilotta bu kabul ayrıca gözlenmelidir; başarısız işi yalnızca kısa sürdüğü için iyi sonuç olarak saymayın. Böylece aşağıdaki karşılaştırma süre aşamalarını eksik toplamaktan farklı olarak deneme düzenine odaklanabilir.

Dört sırayı katılımcılara dağıtın

Her yöntem iki kez ilk, iki kez ikinci sırada bulunur. A görevi de her yöntemle iki kez, B görevi de her yöntemle iki kez kullanılır. Her katılımcı iki yöntemi de dener; kişilerin genel çalışma hızındaki bazı farkları aynı kişi içinde incelemek mümkün olur. Planın bu denge özelliği doğrudan tablo sayılarından doğrulanabilir; gerçek katılımcı ataması yapılmış değildir.

Gerçek uygulamada kişileri bu dört sıraya uygun bir rastgele atamayla dağıtmak düşünülebilir; seçimi sonuçları gördükten sonra değiştirmeyin. Başlangıç deneyimi, araç erişimi, verilen yardım ve görev yönergeleri de kayda alınmalıdır. AI yöntemini hep araca aşina kişilere vermek, sıra dengeli olsa bile başka bir karışıklık yaratabilir. Önceden tanımlanmış atama planı bu nedenle tek başına bütün karşılaştırma kalitesi değildir.

Aynı kayıtları yöntem ve sıra açısından ayrı toplayın

Manuel: 24 + 22 + 20 + 18 = 84 dakika.
AI: 20 + 18 + 24 + 22 = 84 dakika.
İlk turlar: 24 + 22 + 24 + 22 = 92 dakika.
İkinci turlar: 20 + 18 + 20 + 18 = 76 dakika.
Yöntem toplamları eşit; sıra toplamları arasında 16 dakika fark var.

Yalnızca P1 ve P2’ye baksaydınız manuel toplam 46, AI toplam 38 dakika görünürdü. Yalnızca P3 ve P4’te ise AI toplam 46, manuel toplam 38 dakikadır. Bu terslik, sırayı kaydetmenin neden yararlı olduğunu gösterir. Sentetik tabloda ikinci tur her kişide dört dakika daha kısa seçilmiştir. Bu düzen gerçek ekipte öğrenmenin mutlaka dört dakika kazandıracağı anlamına gelmez.

Bütün toplamlar eşit diye iki yöntemin her görevde eşdeğer olduğunu da ilan etmeyin. Bir kişinin deneyimi, görev türü ve çıktı kalitesi farklı olabilir. Sıra farkı görülmesi, bunun tek nedeninin öğrenme olduğunu kanıtlamaz; yorgunluk, verilen ara veya yardım düzeni de etkileyebilir. Bu tablodan çıkarılabilecek sonuç, yöntem yorumuna geçmeden deneme sırasını hesaba katmamız gerektiğidir.

Bir yöntemin diğerine taşıdığı beceri etkisi çok güçlüyse aynı kişinin iki yöntemi denediği plan yetersiz kalabilir. Ayrı gruplarla çalışmak bu aktarımı azaltabilir, fakat bu kez grupların başlangıç farkları daha önem kazanır. Hangi tasarımın uygun olduğu göreve ve değerlendirme amacına bağlıdır. Küçük tabloyu her pilot için hazır reçete olarak kullanmak yerine hangi karışıklığı azalttığını ve hangisini bıraktığını yazın.

Planı sonuçları görmeden kaydedin

Bağlam: Manuel ve AI destekli bilgi notu hazırlamayı karşılaştıracağım. Girdi: A/B görevleri, dört katılımcı ve aynı kabul ölçütü. Her yöntem ilk ve ikinci sırada iki kez; her görev her yöntemle iki kez yer alsın. Kaynakları veya kabul koşulunu yöntem lehine değiştirme. Çıktı: atama tablosu, denge sayımları ve sürelerin yorum sınırı. Verilen sekiz sentetik süreyi yöntem ve sıra bazında ayrı topla; bunlardan istatistiksel anlamlılık veya kesin nedensellik üretme.

1. Görev, yöntem ve sıra ayrı alanlarda kayıtlı mı?
2. Her hücrenin tekrar sayısı planla eşleşiyor mu?
3. Yardım, araç erişimi ve süre başlangıcı tutarlı mı?
4. Kalite kabulü süre hesabından bağımsız kontrol edildi mi?
5. Plan ve sonuç arasında değişen koşullar kayda girdi mi?

Küçük alıştırma: P4’ün katılamadığını varsayın. Kalan planda manuel iki kez ilk, bir kez ikinci; AI bir kez ilk, iki kez ikinci sırada kalır. Eski denge cümlesi artık doğru değildir. P4 için hayalî süre eklemek yerine eksikliği ve bozulan atamayı kaydedin. Yeni bir katılımcı eklenecekse bu karar sonuçlara bakarak uygun kişi seçmeye dönüşmemelidir.

Pilot dosyanızı süre tablosunun yanında görev kartları ve atama planıyla teslim edin. Böylece “hangi yöntem daha hızlı” sorusuna geçmeden farkın hangi koşullarda gözlendiği anlaşılır. Yapay zekâ tabloyu kurmayı kolaylaştırabilir; karşılaştırmanın anlamını koruyan şey, ölçümden önce belirlenmiş ve sonradan izlenebilir kalan çalışma düzenidir.