Bilgi asistanı “kabul edilmeyenleri” sorunca aynı listeyi mi veriyor?

Kabul edilenler ile kabul edilmeyenler aynı liste olamaz

Bilgi asistanına hangi kutuların kabul edildiğini sordunuz; doğru iki kodu verdi. Ardından “kabul edilmeyenler hangileri?” dediniz ve aynı listeyi yeniden gördünüz. Kaynak değişmemiştir, fakat sorunun kapsamı değişmiştir. Akıcı bir yanıt ve doğru kaynak bağlantısı, bu küçük değişikliğin anlaşıldığını tek başına göstermez. Aynı kaynak üzerinde karşıt kapsamlı sorular sormak bu yüzden yararlı bir değerlendirme çalışmasıdır.

Bir başka hata da ilk listenin dışında kalan bütün kodları otomatik ret saymaktır. Kaynak bazı kutular için yeterli bilgi vermiyor olabilir. “Kabul edildiği doğrulanmadı” ile “kabul edilmediği doğrulandı” aynı durum değildir. Özellikle bilgi eksikliği varken iki listeyi birbirinin basit tersi yapmak, belirsizliği kesin karara dönüştürebilir. Bu yazıda bu ayrımı beş küçük kayıtla sınayacağız.

Bu eğitimde etiketli mavi kutular kabul edilir. Etiketsiz kutular kabul edilmez. Kırmızı kutular etiketli olsa da kabul edilmez. Rengi belirtilmeyen etiketli kutu için karar vermeye yeterli bilgi yoktur. Kurallar yalnızca aşağıdaki beş kayıt için kullanılacaktır.

Bu kurallar gerçek bir kalite, sevkiyat veya güvenlik prosedürü değildir. Kutular ve beklenen yanıtlar açıklama amacıyla hazırlanmıştır; herhangi bir fiziksel kutu kabul edilmeyecek veya reddedilmeyecektir. Küçük kapalı liste, sorunun kapsamını takip etmek için kullanılır. K5’in rengi bilinmediğinden onu mavi veya kırmızı diye tamamlamıyoruz.

Soruları cevaplamadan önce kaynak kararlarını ayırın

ScoNe araştırması, olumsuzluk kapsamını kontrollü örneklerle sınayan bir değerlendirme yaklaşımı sunar. Burada aynı fikri Türkçe bir kaynak asistanına yönelik özgün soru çiftlerine uyarlıyoruz. Araştırmanın belirli modellerdeki sonuçlarını bu örneğe taşımıyoruz; hiçbir modelin güncel başarısı ölçülmüş değildir. Küçük soru değişikliğinin hangi yanıt değişikliğini gerektirdiğini önceden yazıyoruz.Kaynak: ACL — ScoNe: Benchmarking Negation Reasoning in Language Models

Karar tablosundaki üç durum, soruların cevap anahtarıdır. Kabul kümesi K1 ve K3, ret kümesi K2 ve K4, bilinmeyen kümesi K5’tir. Üç küme birlikte beş kaydı kapsar ve bu örnekte kesişmez. Bir kaydı birden fazla kümeye koymak veya K5’i sessizce çıkarmak sayım sözleşmesini bozar. Kaynak değişmediği sürece soru biçimi bu temel durumları değiştirmemelidir.

K-11 sentetik kuralını ve K1–K5 gözlemlerini kullan. Önce kabul, ret ve bilinmiyor durumlarını kaynak gerekçesiyle ayır. Sonra dört soruyu bağımsız yanıtla: Kabul edildiği açık olanlar hangileri? Kabul edilmediği açık olanlar hangileri? Kabul edildiği doğrulanmamış olanlar hangileri? Hangi kayıtlar için kesin karar veremiyorsun? Her yanıtta kodları ve kapsamın anlamını göster. K5’i kesin ret veya kabul sayma. “Kabul edilmeyenler” ifadesi belirsiz kullanılırsa ret ile bilinmeyen durumunu ayrı açıkla.

Tek bir “değil” sözcüğünü otomatik ters çevirme kuralı yapmayın

S2 ile S3 arasındaki fark bu testin önemli parçasıdır. S2 açık ret kararını sorar. S3 ise kabulün doğrulanmadığı daha geniş kümeyi sorar; K5 burada yer alır, fakat ret etiketi almaz. Günlük dilde “kabul edilmeyenler” ifadesi bu iki anlamda kullanılabilir. Asistan kapsamı belirtmeli veya gerekiyorsa netleştirmeli; kullanıcı adına sessiz bir yorum seçip kesin karar üretmemelidir.

Bu nedenle yalnızca olumlu cevabın tersini yazan bir sistem de testi geçmiş sayılmaz. S1’e K1/K3, S2’ye K2/K4/K5 yazması, olumsuzluğu fark ettiğini ama bilinmeyen durumu koruyamadığını gösterir. Hata kaydında “yanlış liste” demek yerine K5’in neden kesin ret sayılamadığını belirtin. Düzeltme çalışması hangi anlam ayrımının kaybolduğunu hedeflemelidir.

S1 ve S2 aynı listeyi vermemeli. S2 yalnızca K2/K4’ü içermeli. S3 K5’i içerirken durumunu bilinmiyor olarak korumalı. S4 yalnızca K5’i göstermeli. Kaynak K-11 ve beş kayıt sabit; cevap değişimi yalnızca sorunun kapsamından kaynaklanıyor.

• Soru çiftlerinde kaynak ve kayıt kümesi aynı tutulmuş mu?
• Beklenen cevap farkı denemeden önce yazılmış mı?
• Ret ile yeterli bilgi yok durumları ayrı mı?
• Her kodun gerekçesi aynı kaynak kuralına geri götürülebiliyor mu?
• Belirsiz olumsuz ifade açık kapsamla veya netleştirmeyle ele alınıyor mu?

K5’in kırmızı olduğu doğrulanırsa

Alıştırmada K5’in rengi yeni bir kaynak gözlemiyle kırmızı olarak doğrulansın. Diğer alanlar değişmesin. Dört sorunun cevaplarını tekrar yazın ve hangi listenin değişip hangisinin aynı kaldığını belirtin. Önceki belirsizliği yanlış karar diye geçmiş kayıttan silmeyin; o karar o anda eksik olan bilgiye dayanıyordu.

S1 yine K1/K3. S2 artık K2/K4/K5. S3 yine K2/K4/K5, fakat K5’in durumu artık ret. S4 boş küme olur; beş kayıt için bilgi yeterli. Önceki K5 bilinmiyor kaydı, yeni gözlemin tarihi ve kaynağıyla güncellenir.

Kendi değerlendirme setinizde yalnızca kolay olumlu sorular kullanmayın. Bir kural için kabulü, açık reddi ve karar verilemeyen durumu ayrı soran küçük bir paket hazırlayın. Her soruda hangi kaynak bilgisinin değiştiğini veya sabit kaldığını kaydedin. Teslimatınız, modelin bir kez doğru liste vermesini aşarak kapsam değiştiğinde hangi anlamı koruduğunu göstermelidir.

Aynı paketi başka bir dilde kullanacaksanız soruları kelime kelime çevirmekle yetinmeyin. Olumsuzluğun hangi ifadeyi etkilediği çeviride değişebilir. Yeni dildeki cevap anahtarını kaynak sahibiyle tekrar inceleyin. Bu çalışmanın Türkçe örnekleri, başka bir dilde aynı ölçümün otomatik olarak kurulmuş olduğu anlamına gelmez.