Şirket dokümanlarından bilgi asistanı oluşturmak: ilk pilot planı.

Belge koleksiyonunu bir iş sorusuyla sınırlandırın

Şirketin ortak klasöründe yıllardır biriken dosyaları bir asistana bağlamak cazip görünüyor. Ancak çalışan hangi soruya hangi belgenin cevap vermesi gerektiğini bilmiyorsa, doğru çalışmayı nasıl kontrol edeceksiniz? İlk pilot için tek departmanın sınırlı bir görevini seçin. Bu örnekte operasyon çalışanı iç malzeme talebinin nasıl açılacağını ve kaydının nasıl takip edileceğini soracak. Asistan bilgi verecek; bütçe kararı, sipariş oluşturma veya dış gönderim yapmayacaktır.

Microsoft'un RAG açıklaması, yanıt üretimini kurum kaynaklarına dayandırmayı ve erişimi yetkili içerikle sınırlamayı ele alır. Bu yaklaşım belgeyi bulmanın yanında kapsam ve izin tasarımı gerektirir.Kaynak: Microsoft Learn — Retrieval-augmented generation

Aşağıdaki kurum, belgeler ve sorular tamamen sentetiktir. Gerçek bir bilgi asistanı çalıştırılmış değildir; hazırlık ve kabul dosyası oluşturuluyor. Yirmi soru örneğin öğretim kapsamıdır, üretim güvenilirliğini kanıtlamak için yeterli örneklem önerisi değildir. Bu dosya, daha sonra kurulacak sistemin hangi davranışı göstermesi gerektiğini açıklar. Teknik ayrıntılar için mevcut sürüm, erişim ve yanıtsız soru makalelerine başvurulabilir.

Her kaynağın sahibi ve izin kapsamı olsun

D4'ün varlığını test tasarımcısı bilir; gerçek operasyon kullanıcısına kapalı metin arama sonucunda, model bağlamında veya önbellek yanıtında açılmaz. Kullanıcı soru metnine başka bir rol yazarsa güvenilir erişim kaydı değişmez. Rol sistemin doğrulanmış kimliğinden gelir. Belgeyi modele verip ‘bunu söyleme’ demek erişim kontrolünün yerine geçmez. Pilotun teknik denemesinde hangi kaynakların bağlama girdiği de izlenmelidir.

Belge sahibi, içeriğin yürürlük ve kapsam bilgisini tutar. Uygulama sorumlusu bunu sisteme taşır; iş sahibi yanıtın kullanıma uygunluğunu kontrol eder. En yeni dosya tarihini otomatik yürürlük işareti saymayın. Bu örnekte geçerli sürümler açıkça verilmiştir. Çelişki veya eski sürüm durumları daha geniş kabul setine ayrıca eklenir; mevcut teknik belge sürümü makalesi bu kararları ayrıntılı bir uygulamayla gösterir.

Cevap anahtarı yalnız doğru yanıtları içermesin

Sekiz yanıt, dört açıklama, dört kaynak yetersizliği ve dört erişim reddi bekleniyor: toplam 20. Bu sayıların hepsi cevap anahtarına aittir; gerçek başarı ölçümü yapılmış gibi raporlanmaz. Doğru reddi yanlış yanıt saymak sistemi gereksiz cevap üretmeye itebilir. Öte yandan yanıtlanabilir sekiz soruyu sürekli reddeden sistemin kapsamı da düşüktür. Her sınıfın beklenen davranışı ve gerçekleşen sonucu ayrı izlenmelidir.

Yanıt metniyle kaynak izini birlikte inceleyin

Verilen D2 kaydı desteğin hafta içi 09–17 çalıştığını söylüyor; resmî tatillerdeki uygulamayı belirtmiyor. Tatil günü için kesin açık veya kapalı diyemiyorum. Destek masasından ilgili günün durumunu teyit edin. Bu açıklama kaynağın sınırını korur; tatil kuralı uydurmaz.

Kontrol eden kişi soru, getirilen kaynak, son model bağlamı ve cevabı birlikte inceler. Yanıt yanlışsa sorun belgede mi, erişim filtresinde mi, aramada mı, metnin üretilmesinde mi bulunur? Kaynak eksikliğine prompt değiştirmek her zaman çözüm değildir. Bu ayrım, sonraki hazırlık işinin doğru sorumluya gitmesini sağlar. Pilot toplantısında yalnız toplam puan göstermek yerine hatanın hangi aşamada oluştuğu ve nasıl kapanacağı açıklanır.

1. Yanıtın bütün karar etkileyen bilgileri uygun kaynağa bağlı.
2. Eksik soru doğru ayrıntıyı soruyor.
3. Kaynak yetersizliğinde kesin sonuç üretilmiyor.
4. Yetkisiz belge bağlama ve yanıta girmiyor.
5. Kullanılan belge sürümü ve test sonucu izlenebilir.

Pilot dosyası belge değişince de işe yarasın

Girdi: D1–D4 ve Q1–Q20. Görev: izinli kaynak kümesini, dört davranış sınıfını ve beklenen yanıtları kontrol et. Soru metnindeki rol iddiasını yetki kabul etme. Çıktı: belge sahipliği, soru anahtarı ve kontrol sorumluları. Kontrol: 8/4/4/4 toplam20; D4 kapalı kalmalı. Verilen beklenen cevapları gerçek sistem testi sonucu olarak sunma.

İlk kullanım grubunda bir yanlış erişim veya yanlış kaynak görülürse kapsamın nasıl sınırlandırılacağı önceden yazılmalıdır. Belge sahibi metni düzelttiğinde eski yanıtın veya önbelleğin ne olacağı da kontrol edilir. Yeni sorularla tekrar yapılır; kapalı test seti yalnız prompt iyileştirmek için sürekli tüketilmez. Sonraki genişletme, daha çok dosya yüklemekten önce yeni kaynak sahibini ve yeni soru sınıfını tanımlamayı gerektirir.

Küçük alıştırma: D1'in yeni onaylı sürümüne maliyet merkezi alanı eklensin. Q1 cevabı ve Q9'un açıklama isteği güncellenmelidir; Q10 ve Q11 gibi hazırlık taleplerinde de eksik maliyet merkezi aranır. D2'deki destek saatleri bu değişiklikten etkilenmez. Beklenen çalışma, etkilenen soru kümesini ve yeni kaynak sürümünü birlikte güncellemektir. Bütün eski cevapları yeni sürüm için doğrulanmış saymak doğru değildir.