Bilgi asistanı cevap veremediğinde önce neyi düzeltmelisiniz?

‘Cevap bulunamadı’ tek bir sorun değildir

Bir bakım destek asistanına etiket yazıcısının test sayfasının nasıl açılacağını sordunuz. ‘Bilgim yok’ cevabı geldi. Ekip hemen daha güçlü bir model kullanmayı tartışıyor. Oysa ilgili belge hiç sisteme alınmamış, doğru parça aramada geride kalmış veya soru hangi cihazı kastettiğini söylememiş olabilir. Aynı görünen sonuç farklı işlere ihtiyaç duyar; önce kopan halkayı bulmak gerekir.

Bu uygulama sentetik bir destek arşivine dayanır. Cihaz adları, belge kayıtları, sorular ve işlem izleri bu yazı için hazırlanmıştır. Gerçek ekipmana uygulanacak bakım talimatı vermiyoruz. İnceleyeceğimiz çıktı, arızayı gideren bir teknik cevap değil, bilgi asistanını geliştirecek işin doğru sorumluya yönlendirilmesidir. Bu ayrım, teşhis sırasında kaynaksız teknik adım üretilmesini de önler.

Microsoft’un RAG değerlendirme açıklaması belge getirme sürecini, üretilen yanıtın bağlama dayanması ve soruyla ilgisi gibi ölçütlerden ayırır. Burada aynı ayrımı elle uygulanabilir bir kayıt düzenine çeviriyoruz. Hazır bir değerlendirici puanı kullanmıyoruz; her olay için soruyu, beklenen belgeyi, gerçekten getirilen parçayı ve son yanıtı yan yana inceliyoruz.Kaynak: Microsoft — RAG değerlendirmesinde süreç ve yanıt ölçütleri

Önce cevap için gerekli kaynağı belirleyin

Beklenen kaynak, modelin ‘şu belge olmalı’ demesiyle doğrulanmaz. Belge sahibi veya yetkili inceleyen, arşivde gerçekten var olan kaydı ve soruyu cevaplayan bölümü bulmalıdır. D10’un yalnızca başlığı doğruysa ama gerekli menü bilgisi bölümde yoksa onu yeterli kaynak saymayın. Kaynak içeriğinin soruya uygunluğu, indekslenmiş olması ve kullanıcıya erişimi ayrı kontrol alanlarıdır.

Bu örnekte belgelerin sürüm uygunluğu önceden kontrol edilmiş kabul edilir. Gerçek kayıtta sürüm veya yürürlük çelişkisi varsa onu ayrıca çözün. Teşhis tablosu eski bir belgenin doğru getirilmesini başarı olarak kutlamamalıdır. Önce kullanılabilir kaynak kümesini belirlemek, sonraki adımlardaki getirme ve yanıt kontrollerine anlam kazandırır.

Getirilen parça ile cevabı birlikte okuyun

S2 ve S3 aynı ‘bilgi yok’ sonucuna rağmen farklıdır. S2’de gerekli metin modele ulaşmamıştır; istemi uzatmak eksik parçayı otomatik getirmez. S3’te parça son bağlamda gerçekten vardır; bu kez cevabın o bilgiye neden dayanmadığını araştırırsınız. Arama sonuç listesinde görünen parçanın son isteme aktarılmadan kesilmiş olması da mümkündür; yalnızca arama listesini görmek yeterli kanıt değildir.

S3 için ‘yanıt üretiminde eksiklik’ ilk sınıflandırmadır, kesin kök neden değildir. Uygulama metni yanlış bölüme koymuş, bağlam kesilmiş veya istem kuralları gereksiz ret üretmiş olabilir. Son modele gönderilen bağlamı doğruladıktan sonra daha dar neden yazın. Modelin kendi hatasına dair açıklaması işlem kaydının yerini tutmaz; açıklama da üretilmiş bir metindir.

Modelden cevap değil, kanıt açığı isteyin

Verilen sentetik olayları soru, beklenen onaylı kaynak, gerçekten getirilen parçalar, son bağlama eklenen metin ve yanıt alanlarıyla incele. Kaynak eksikliği, getirme sorunu, yanıt üretimi, soru belirsizliği ve doğru yetki sınırını ayır. Eksik izi tahmin etme; doğrulanması gereken alan olarak yaz. Teknik talimat üretme. Her olay için sonraki inceleme adımını ve sorumlu rolü öner; kaynak sahibinin onayı yerine geçecek karar verme.

Soru: P1 test sayfası nerede?
Beklenen: D10, bölüm 2
Arşiv kontrolü: Kaynak onaylı ve indekslenmiş.
Gelen parçalar: Yalnızca D11, bölüm 4
Son bağlam: D10 yok.
İlk neden: Getirme aşamasında gerekli parça gelmedi.
İncelenecekler: Cihaz filtresi, sorgu eşleşmesi, parça metni ve sıralama.
Kapanış kanıtı: Aynı soruda D10/2 bağlama gelir; yanıt bu kaynağa dayanır.

Bir işi kapatmak için yalnızca ‘belge eklendi’ veya ‘istem düzeltildi’ notu yetmez. Aynı soru ve erişim rolüyle yeniden deneyin. Kaynak eksikliği giderildiyse belgenin indekslendiğini ve gerektiğinde getirildiğini görün. Getirme düzeldiyse yanıtın dayanağı doğru mu ayrıca kontrol edin. Bir katmanı düzeltmek uçtan uca sonucun tamamlandığını otomatik göstermez.

Her yanıtsız soruyu azaltılacak hata saymayın

S5’in cevaplanmaması beklenen davranıştır. Yanıtsız soru sayısını düşürmek için yetki filtresini kaldırmak, ölçümü iyileştirirken sistemi yanlış yönde değiştirebilir. Raporunuzda doğru sınırlama ile cevaplanabilir bir sorudaki başarısızlığı ayrı sayın. Bu beş olayda üç iyileştirme ihtiyacı, bir açıklama sorusu ve bir doğru erişim sınırı vardır; hepsini beş model hatası diye toplamayın.

• İşlem kaydı yoksa neden kesinleşmedi olarak bırakın.
• İyileştirme işine olay kimliğini ve yeniden deneme koşulunu ekleyin.
• Başarılı cevabı kaynak uygunluğu, kullanıcı yetkisi ve içerik doğruluğuyla birlikte kabul edin.
• Kapanan olayı sürüm karşılaştırma kümesine ekleyerek aynı sorunun yeniden bozulmasını izleyin.

Küçük alıştırma: S2’de D10 arama sonucunda görünmüş, fakat son bağlama alınmamış olsun. ‘Arama doğru çalıştı, model kullanamadı’ demek yeterli midir? Beklenen değerlendirme, arama ile son bağlam arasında bir aktarım veya seçim sorunu bulunduğudur. İnceleme kartına son bağlam kanıtını ekleyin ve ilgili uygulama adımını sorumluya yönlendirin. Böylece aynı ret metninin altında farklı bir iş gerektiğini göstermiş olursunuz.

Tamamlanmış çıktı, neden adı verilmiş bir şikâyet listesi değil, kanıtı ve kapanış koşulu bulunan inceleme kartlarıdır. Ekibiniz bu kartları biriktirdikçe hangi belge eksiklerinin, sorgu kalıplarının veya bağlam sorunlarının tekrar ettiğini görebilir. İyileştirme sırasını da yalnızca toplam yanıtsızlık oranından daha somut bir temele oturtabilirsiniz.