Bilgi asistanında iki arama puanını doğrudan toplamak yerine sıraları sınayın.

Farklı skor ölçekleri tek toplamda anlamını kaybedebilir

Bilgi asistanınız aynı soruyu hem sözcük aramasıyla hem vektör aramasıyla tarıyor. Bir yöntem 12, diğeri 0,8 gibi skorlar veriyor. Yapay zekâ bunları doğrudan toplayıp en yüksek skoru seçerse büyük sayı üreten yöntem sonucu baskılayabilir. Skorların aynı ölçeği temsil ettiği gösterilmemiştir. Birleştirmeyi sıralar üzerinden kurmak, bu özel ölçek sorununu ayrı bir denemeyle incelemenizi sağlar.

Reciprocal rank fusion, kısaca RRF, getiricilerdeki sıra konumlarına katkı atar. Elasticsearch açıklamasındaki yapı, bir belgenin bulunduğu her listeden 1/(k+sıra) katkısını toplamaktır. Sıra birden başlar; listede görünmeyen belge o listeden katkı almaz. Bu yazıda k=60 ve iki üçlü aday listesi kullanıyoruz. Buradaki hesap gerçek arama motoru deneyi veya daha doğru yanıt garantisi değildir.Kaynak: Elasticsearch — Reciprocal rank fusion

Belge kimliklerini aynı düzeyde eşleyin

A, B, C ve D ortak belge kimlikleridir. Her liste içinde aynı kimlik en fazla bir kez bulunur. Parça kimliğiyle belge kimliği karışmış olsaydı önce ortak eşleme düzeyini kurmak gerekirdi. Bu örnekte bütün adayların soru kapsamı ve erişim koşulları önceden uygun kabul edilmiştir. Birleştirme işlemi yetkisiz veya yanlış sürümlü bir kaydı geçerli kaynak haline getirmez; bu kararlar ayrı kapılarda korunmalıdır.

A, L1’de birinci ve L2’de üçüncüdür. B ise L1’de ikinci, L2’de birincidir. C yalnız L1’de üçüncü, D yalnız L2’de ikinci görünür. Eksik sıra yerine sıfır yazmak hatalıdır: 1/(60+0) gibi bir katkı, görünmeyen belgeyi birinciden bile fazla ödüllendirir. Eksikliği sayı üretmek için doldurmak yerine o getiricinin katkısını sıfır olarak açıkça kaydedin.

Her getiricinin katkısını ayrı gösterin

B > A > D > C.
B: 1/62+1/61≈0,032522.
A: 1/61+1/63≈0,032266.
B ile A farkı, ikinci ve üçüncü sıra katkılarının farkıdır.
Bu skorlar doğruluk olasılığı veya yüzde değildir.

B’nin A’nın önüne geçmesini yalnız “iki listede de var” diye açıklamak eksiktir; A da iki listede vardır. Fark ikinci katkıdan gelir: B’nin L1’deki ikinci sırası, A’nın L2’deki üçüncü sırasından biraz daha büyük katkı alır. Katkı tablosu bu küçük ayrımı görünür tutar. Skorları yalnız iki ondalıkla gösterirseniz ikisi de 0,03 görünebilir; karar ham hesap üzerinden verilip gösterim hassasiyeti ayrıca seçilmelidir.

Adayların belge içeriğini okumadan bu sıralamanın en iyi yanıtı üreteceğini söylemeyin. RRF, verdiğiniz listeleri birleştiren bir yöntemdir. Yanıtın gerekli koşulu taşıması, doğru belge sürümüne dayanması ve kaynağın soruyla ilişkisi ayrıca ölçülür. Bu küçük uygulamanın teslimi bir doğruluk oranı değil, hangi belgenin hangi sıra katkısıyla seçildiğini açıklayan birleşim kaydıdır.

Sıra sabitken ham skorları yeniden ölçekleyin

Kusurlu karşılaştırma için ham skorları, görünmeyen listede katkıyı sıfır sayarak toplayın. A=12,6; B=11,8; C=10; D=0,7 olur. Sonra yalnız L2 skorlarını yüzle çarpın; L2’nin kendi sırası değişmez. Ham toplamlar A=72, B=91, C=10, D=70 olur. Birleşik karar değişmiştir; oysa her getiricinin tercih sırası aynıdır. Bu, karşılaştırılamayan ölçeklerin doğrudan toplamını sorgulayan bir karşı örnektir.

Ham toplam sırası: A,B,C,D.
L2 skorları ×100 sonrası ham toplam sırası: B,A,D,C.
RRF her iki durumda: B,A,D,C.
RRF giriş sıraları değişmediği için sonuç korunur; bu değişmezlik tek başına kalite kanıtı değildir.

RRF’nin değişmezliği yalnız sıra sabit kaldığında geçerlidir. Getirici adayları farklı sıralamaya başlarsa, filtre değişirse veya bir belge listeye girip çıkarsa katkılar da değişebilir. K parametresi de katkıların göreli farklarını etkiler. Bu nedenle birleşim kaydında yalnız RRF adını değil, k değerini ve her getiriciden alınan aday sayısını da saklayın. Varsayılan ayarları bilinmeyen bir araçla aynı sonuç beklemeyin.

Birleştirme bütçesini açık yazın

L1 sırası A/B/C, skorları12/11/10. L2 sırası B/D/A, skorları.8/.7/.6. Her listede kimlik tekil; ortak belge düzeyi. k=60, sıra1’den başlar. Belge başına her listenin 1/(k+sıra) katkısını hesapla; görünmeyende katkı0. RRF sırasını ham skor toplamıyla karşılaştır. L2 skorlarını100 ile çarpınca kendi sıraları değişmiyorsa RRF’nin neden aynı kalacağını göster. Skoru doğruluk yüzdesi veya gerçek arama başarısı sayma.

İki liste farklı sayıda aday döndürürse bu da yöntem sözleşmesinin parçasıdır. Uzun liste, kısa listenin göremediği adaylara tek taraflı katkı verebilir. Bir getiricinin çağrısı başarısızsa boş aday listesi ile başarılı fakat eşleşmesiz listeyi ayırın. Hesap sıfır katkıyla yürütülebilse bile raporun kanıt kapsamı farklıdır. Başarısız aramayı sanki bütün adaylar taranmış gibi sunmak birleşim tablosunda görünmeyen bir eksiklik yaratır.

• Ortak kimlik düzeyi ve tekillik belli mi?
• Sıra birden başlıyor mu?
• Eksik sıraya sahte katkı eklenmiş mi?
• k ve aday pencere boyutu kaydedilmiş mi?

Aday penceresini bire düşürün

Aynı listelerin yalnız ilk kaydı alınsın: L1’de A, L2’de B. k yine 60 olsun. Yeni RRF skorlarını ve sıralamadaki eşitliği bulun. Eski B>A kararını korumak için artık bulunmayan ikinci ve üçüncü sıra katkılarını kullanıp kullanamayacağınızı açıklayın. Eşitlikte tek bir kazanan gerekiyorsa hangi bilginin eksik olduğunu yazın.

A=1/61, B=1/61; ikisi eşit. C ve D aday birleşiminde yoktur. Eski katkılar yeni bir elemanlık pencereye taşınmaz. Tek kazanan için açık bir eşitlik çözme kuralı gerekir; girişte önce yazılanı daha iyi saymak yeterli değildir.

Bilgi asistanının kaynak seçim kaydına getirici listelerini ve katkı hesabını eklemek, sıralama değişikliklerini açıklamayı kolaylaştırır. AI’dan beklenen, büyük skorları doğrudan toplamak yerine hangi birleştirme sözleşmesinin kullanıldığını ve bu sözleşmenin hangi kapsamda sınandığını göstermesidir.