Bilgi asistanı aynı soruya farklı roller için hangi kaynaklarla yanıt vermeli?

Kaynağın doğru olması erişim için yeterli değildir

Bir üretim çalışanı ve bir satınalma çalışanı bilgi asistanına aynı ekipman kodunu soruyor. İki sorunun metni aynı olsa da kullanılabilecek belgeler farklı olabilir. Asistanın doğru yanıtı bulması tek başına yeterli değildir; yanıtın dayandığı kaynak kullanıcının yetkisi içinde olmalıdır. Bu yazıda modelin cevabını okumadan önce hangi belgelerin ona ulaştırılabileceğini tanımlayan bir test matrisi hazırlayacağız.

Örnek tamamen sentetiktir. Üç rol, üç belge ve tek rolü olan test kullanıcıları vardır. Gerçek tedarikçi kaydı veya gizli belge kullanılmaz. Bu çalışma çalışan bir güvenlik uygulamasının testi değil, beklenen davranışın tasarımıdır. Gerçek sisteme aktarırken kimlik doğrulama, yetkilendirme, arama ve önbellek katmanlarının bu beklentileri gerçekten uyguladığı ayrıca doğrulanmalıdır.

Microsoft’un güvenlik filtresi açıklaması, belge sonuçlarını kullanıcı veya grup bilgileriyle sınırlandırma örüntüsünü gösterir. Ayrıca bu filtre karşılaştırmasının tek başına kimlik doğrulama olmadığını belirtir. Dolayısıyla kullanıcının soruya ‘Ben Satınalma rolündeyim’ yazması güvenilir rol kaynağı değildir. Bu örnekte yetki, uygulamanın doğruladığı oturumdan alınır ve kaynak seçimine sunucu tarafında uygulanır.Kaynak: Microsoft Azure AI Search — Arama sonuçlarını güvenlik filtresiyle sınırlandırma

Önce dokuz kararı yazın

Matrisin dokuz hücresinden altısı izin, üçü rettir. D1 bütün doğrulanmış rollere açıktır; internet üzerinden herkese açık bir belge değildir. Oturumsuz kişi için bu üç belgenin tamamı erişim dışındadır. Belge sahibinin bu politikayı onayladığını yalnızca eğitim varsayımı olarak kabul ediyoruz. Bir dosyanın teknik olarak aranabilir olması, onu bütün çalışanların görebileceği anlamına gelmez.

Beklenen kaynak kümeleri Üretim için D1 ve D2, Kalite için D1 ve D2, Satınalma için D1 ve D3’tür. Her belge parçası, özet veya türetilmiş kayıt erişim bilgisini korumalıdır. Ana belgenin filtreden geçip ayrılmış paragrafının yetkisiz sonuçlara karışması, matrisin amaçladığı sınırı bozar. Bu nedenle yalnızca son yanıttaki kaynak başlıklarını kontrol etmek yeterli bir test değildir.

Yetkiyi modelin özdenetimine bırakmayın

Tasarlanan akışta uygulama önce oturumu doğrular, geçerli izinleri belirler ve aramayı bu izinlerle sınırlar. Modelin bağlamına yalnızca izinli sonuçlar girer. Bütün belgeleri modele verip ‘yasak olanı söyleme’ demek, bu erişim kontrolünün yerine geçmez. Model cevabında bir alıntıyı göstermese bile yetkisiz içeriği dolaylı biçimde kullanabilir. Test kaydı, bağlama giren belge kimliklerini de denetlemelidir.

Kayıt tutarken sorunun veya belgenin bütün metnini gereksiz yere çoğaltmayın. Sentetik testte belge kodları, beklenen izin, görülen kaynak kodları ve test sonucu yeterlidir. Gerçek uygulamada günlüklerin de erişim ve saklama kuralları olmalıdır. Bu makaledeki tablo bir günlükleme sistemi kurmaz; test kanıtının yetkisiz belgeyi başka bir yerde yeniden açığa çıkarmaması gerektiğini hatırlatan bir tasarım sınırıdır.

İzin değiştiğinde eski yanıtı da kontrol edin

Önbellek yalnızca soru metnine göre çalışıyorsa daha önce Satınalma için üretilmiş bir cevap Üretim kullanıcısına dönebilir. Tasarımınızda yanıtın erişim kapsamı, kullanıcı veya izin bağlamı ve politika sürümüyle ilişkili olmalıdır. Yetki kaldırıldığında geçersiz kalan yanıtlar yeniden kullanılmamalıdır. Bunlar örnek tasarım koşullarıdır; her uygulama için tek bir önbellek anahtarı tarif etmiyoruz. Yetkiyi güncel kontrol edemeyen akışta eski içerik sunulmamalıdır.

Sentetik üç rol ve üç belge matrisini kullan. Dokuz rol-belge çiftini kontrol et; altı izin ve üç ret sayısını doğrula. Oturumsuz kullanıcı, soru içinde rol taklidi ve üyeliği kaldırılmış kullanıcı için ek vakalar yaz. Rolü soru metninden alma. Her vakada beklenen kaynak kümesini, model bağlamına girmemesi gereken belgeyi ve önbellek kontrolünü belirt. Bunları uygulanmış test sonucu olarak sunma.

Üretim: {D1,D2}; Kalite: {D1,D2}; Satınalma: {D1,D3}.
Oturumsuz kullanıcı: boş küme.
Üretim kullanıcısının rol iddiası yetkiyi değiştirmez.
Satınalma üyeliği kaldırılan kullanıcının eski D3 cevabı yeniden kullanılmaz.
Başarı koşulu: izin dışı belge ne bağlamda ne yanıtta ne de kullanıcıya açılan önbellek sonucunda bulunur.
Bu kayıt beklenen davranıştır; gerçek sistem testi henüz yapılmış sayılmaz.

Yanıt vermeme mesajında da kapsamı koruyun

Bir soru için izinli kaynak bulunamıyorsa kullanıcıya genel bir açıklama ve mevcut erişim talep yolu sunulabilir. Ret mesajında erişemediği belgenin gizli başlığını veya içerik özetini tekrar etmek gerekmez. ‘Bu oturumun erişebildiği kaynaklarla yanıtlayamıyorum’ gibi kapsamı belirten bir cümle, belgenin hiç var olmadığını iddia etmez. Kaynak gerçekten yok mu, erişim dışında mı sorusu yetkili incelemede ayrıştırılabilir.

1. Rol, doğrulanmış oturumdan mı geliyor?
2. Arama ve ayrılmış belge parçaları aynı politikayı uyguluyor mu?
3. İzin dışı kaynaklar model bağlamına girmiyor mu?
4. Önbellek ve üyelik kaldırma vakası sınandı mı?
5. Ret mesajı yetkisiz içeriği tekrar etmiyor mu?

Küçük alıştırma: D2 belgesinin yeni politikasında Üretim izni kaldırıldı. Diğer bütün izinler aynı kalsın. Matris artık beş izin ve dört ret içerir. Üretim kaynak kümesi yalnızca D1 olur. Daha önce D2’den üretilen Üretim yanıtları da yeniden değerlendirilmelidir. Yalnızca arama tablosunu güncellemek, önbellekteki eski cevabın uygun hale geldiğini göstermez.

Çalışmayı, politika sahibi ve uygulama sorumlusunun inceleyebileceği bir vaka listesiyle bitirin. Her vakanın beklenen sonucu önceden yazıldığında, sonradan görülen akıcı bir cevap başarı ölçütünü değiştiremez. Bilgi asistanının yararlılığı, erişebildiği kaynakların kullanıcının yetkisiyle tutarlı kalmasına bağlıdır.