Aynı soru, farklı bağlam: Bilgi asistanının önbelleğini sınamak.

Hazır yanıtı hangi isteğe geri verebilirsiniz?

Bilgi asistanınız “Bu modelin kit kodu nedir?” sorusuna daha önce cevap verdi. Aynı sözcüklerle yeni bir soru geldiğinde hazır yanıtı kullanmak hızlıdır. Ancak yeni istek başka katalogdan, başka modelden veya farklı belge revizyonundan geliyorsa bu hız yanlış bilgi taşır. Soru metninin eşit olması, sorunun bütün bağlamının eşit olduğunu göstermez.

Bu uygulamada halka açık malzeme kataloglarını kullanan sentetik bir asistan tasarlıyoruz. Kişisel bilgi, gizli belge veya gerçek kullanıcı verisi önbelleğe alınmıyor. Katalog A ve B, model L2 ve L3, revizyon r3 ve r4 yalnızca örnek etiketlerdir. Amaç bir önbellek ürünü kurmak değil, hazır bir yanıtın yeniden kullanılma koşullarını altı istek üzerinden tarif etmektir.

Soru: Bu modelin kit kodu nedir?
Katalog: A
Model: L2
Kaynak revizyonu: r3
Yanıt dili: tr
İstem/yanıt kuralı sürümü: P1
Yanıt: Kit kodu KT-23. Kaynak: A/L2/r3.
Oluşturulma: 10:00 UTC
Sona erme: 10:10 UTC, bu an hariç

Altı deneme birbirinden bağımsızdır ve hepsinde başlangıçta yalnızca bu kayıt vardır. Saat 10:02 UTC’dir. Yanıt politikası sürümü P1 sabit kalır. Bağlam değerlerinin oturum ve kaynak sistemi tarafından doğrulandığı varsayılır; kullanıcının serbest metinle yazdığı katalog adı kendi başına güvenilir bağlam sayılmaz. Böylece değişen her alanın etkisini aynı başlangıç durumunda inceleyebiliriz.

Bir anahtar eşleşmesi henüz kabul kararı değildir

Microsoft’un Cache-Aside açıklaması, önbelleğin kaynak verisiyle kendiliğinden tutarlı kalmadığını ve güncellik stratejisi gerektiğini belirtir. Anlamsal olarak benzer soruların farklı bağlamlarda aynı cevabı gerektirmeyebileceğine de dikkat çeker. Biz bu ilkeleri, anahtarın soru metnine ek olarak yanıtı değiştiren bağlam alanlarını taşıdığı küçük bir tasarıma uyarlıyoruz. Örnekteki on dakikalık süre Microsoft’un önerdiği genel bir eşik değildir.Kaynak: Microsoft — Cache-Aside pattern

Bu çalışmada anahtar; soru, katalog, model, kaynak revizyonu, dil ve yanıt kuralı sürümünün birlikte temsilidir. Anahtar üretiminde alan sınırları korunmalıdır. Alanları ayraçsız yan yana eklemek farklı değer birleşimlerini aynı metne dönüştürebilir. Yapılandırılmış bir temsil kullanmak bu riski görünür biçimde ele alır. Yalnızca sorunun benzerliğini ölçen anlamsal arama, diğer bağlam koşullarının yerine geçmez.

Hazır kayıt A/L2/r3/tr/P1 bağlamında ve 10:10 UTC’ye kadar geçerli. Her test 10:02’de, tek hazır kayıtla bağımsız başlar. İstekler: A/L2/r3/tr; B/L2/r3/tr; A/L3/r3/tr; A/L2/r4/tr; A/L2/r3/en; A/L2/r3/tr fakat güncel erişim reddedilmiş. İlk beş isteğin güncel erişimi izinli. Önce erişim kararını uygula, sonra bağlam ve süreyi denetle. Her istek için hazır yanıtı kullan, yeniden kaynakla üret veya erişimi reddet kararı ver. Başka bağlamın yanıtını çevirerek veya kodunu tahmin ederek tamamlama.

Erişim kararı bu örnekte önbelleğin dışında ve önce değerlendirilir. Eski bir hazır kayıt erişim hakkını koruyan belge değildir. Kataloglar halka açık olsa da örnek servis erişimini kapatmış bir oturuma işlem sunmayabilir; C6 bu ayrı kontrolü sınar. Hassas veya güvenlikle ilgili veriler için önbelleğe almanın uygunluğu ayrıca değerlendirilmelidir. Buradaki test, böyle verileri önbelleğe koymayı önermez.

Bir isabet, dört yeniden üretim, bir ret

C4 için eski yanıtın son kullanma süresi henüz dolmamıştır. Buna rağmen kaynak revizyonu değiştiği için kullanılamaz. Süre, güncelliğin tek koşulu değildir. C5’te ise kaynak aynı kalsa da hedef dil farklıdır. Bu tasarımda dil başına doğrulanmış yanıt tutulur; mevcut Türkçe yanıtın anlık çevirisi aynı önbellek isabeti sayılmaz. Başka bir mimari seçebilirsiniz, ancak çeviri ve doğrulama işini ölçümden silmeyin.

İsabet oranını raporlarken paydanızı belirtin. Bu tabloda altı gelen istekten biri hazır yanıt alır. Erişimi izinli beş istek arasında isabet 1/5, yani yüzde 20’dir. Erişimi reddedilen C6’yı önbellek kaçırması olarak yazmıyoruz; kaynak üretimine hiç geçmemelidir. Dört yeniden üretim kararı da üretimin mutlaka başarılı olduğu anlamına gelmez. Kaynak bulunamazsa asistan eksikliği açıklamalıdır.

6 bağımsız istek: 1 hazır yanıt, 4 yeniden kaynakla üretim ihtiyacı, 1 erişim reddi. İzinli isteklerde önbellek isabeti %20. Yanlış bağlamdan hazır yanıt kullanımı 0 olmalı. C4 eski r3 yanıtını, C6 ise herhangi bir önbellek içeriğini almamalı.

Aynı anahtar için de iki yeni sınama gerekir

Alıştırmada C1’in bağlamını aynen koruyun. İlk denemede saat 10:10 olsun; ikinci denemede saat 10:02 fakat erişim artık reddedilsin. Her deneme aynı başlangıç kaydını kullanır. Birinin süreyi, diğerinin güncel erişimi sınadığını gösteren iki karar yazın. İkinci durumda eski izin bilgisini önbellekten okuyarak devam etmek bu sözleşmeye uymaz.

10:10: süre bitişi hariç olduğundan hazır kayıt kullanılamaz; erişim izinliyse güncel kaynakla üretim gerekir. 10:02 ve erişim ret: hazır kayıt güncel olsa bile erişim reddedilir; yeniden üretim de başlatılmaz.

Uygulamaya geçerken yanıtı etkileyen alanları kaynak sahipleriyle listeleyin. Her alanı tek başına değiştirerek bir test oluşturun ve hazır yanıtın kaynağını sonuçta koruyun. Hız hedefinin yanına yanlış bağlamdan yanıt sayısını da koyun. Başarılı teslimat, daha çok isabet elde etmek kadar hangi durumlarda hazır yanıtı kullanmayı reddettiğinizi gösterebilmelidir.