Bilgi asistanının ilk üç sonucu aynı belgenin parçalarıysa.

Üç parça, üç ayrı belge demek değildir

Bilgi asistanı cevap hazırlarken aramadan üç sonuç alıyor. Sonuç kartları birbirinden farklı başlıklar taşısa da üçünün belge kimliği aynı. Ekip üç kaynak incelendiğini düşünürken gerçekte tek belgenin komşu parçalarını okuyor olabilir. İlk kontrol, bulunan parça sayısını kaynak belge sayısından ayırmaktır. Ancak belge çeşitliliğini artırmak da tek başına daha iyi cevap garantisi vermez.

Bu uygulamada beş sentetik parçayı aynı sonuç bütçesiyle iki biçimde seçeceğiz. Bir yöntem en yüksek üç skoru, diğeri belge başına en fazla bir parçayı alacak. Sonra ikinci yöntemin kaybettiği tamamlayıcı bilgiyi inceleyeceğiz. Çıktı, tek bir ideal arama ayarı yerine seçim kuralını ve bilgi kaybını birlikte gösteren bir kayıt olacak.

Elasticsearch belgelerindeki collapse özelliği, ortak alan değeri taşıyan sonuçlardan sıralamaya göre üsttekini seçen bir gruplama davranışı sunar. Belgeler ayrıca toplam eşleşme sayısının gruplama öncesindeki sayıyı ifade ettiğini belirtir. Buradaki küçük tablo bu ilkeyle karşılaştırılabilir bir eğitim tasarımıdır; gerçek bir Elasticsearch sorgusunun çalıştırılmış sonucu değildir.Kaynak: Elasticsearch — Collapse search results

Skor ile belgenin rolünü ayrı sütunlarda tutun

Kullanıcının sorusu “K koşulunda sınır nedir?” olsun. D1-a genel kuralı, D1-b soruya uygulanacak istisnayı taşır. D2 ve D3 farklı belge kimliklerine sahip olsa da bu sorunun sayısal yanıtını sağlamaz. Skorlar örneğe özel sıralama değerleridir; güvenilirlik yüzdesi veya cevabın doğruluk olasılığı değildir. Belge kimliğinin farklı olması da bağımsız doğrulama yapıldığı anlamına gelmez.

Bu örnekte bütün belgelerin erişim yetkisi önceden uygun kabul edilir. Yürürlük, kaynak yetkisi ve belge sürümü başka kontrollerdir; çeşitlilik kuralı bunların yerine geçmez. Gerçek sistemde yetkisiz veya geçersiz bir belgeyi sırf ikinci bir kimlik olsun diye seçmek kabul edilemez. Seçim bütçesi ancak uygun adaylar arasında uygulanmalıdır.

Aynı üç parça bütçesini karşılaştırın

İlk yöntem tek belgeye yoğunlaşır ama bu örnekte gerekli genel kural ve istisnayı birlikte taşır. İkinci yöntem üç belge gösterir; buna rağmen K koşulunun cevabını kaybeder. Dolayısıyla belge sayısını tek başarı ölçütü yapmak yanlış karara götürür. Çeşitlilik, sorunun gerektirdiği bilgi kapsamıyla birlikte değerlendirilmelidir.

Belge başına kota uygulanırken sıralı adaylar yukarıdan aşağı okunur. D1-a seçildikten sonra D1-b ve D1-c aynı kimlik nedeniyle atlanır. D2-a ve D3-a üç yuvalı bütçeyi tamamlar. Bu izi yazmak, kaybolan parçanın düşük skor nedeniyle mi yoksa kota nedeniyle mi elendiğini ayırır. İki neden aynı düzeltmeyi gerektirmez.

İlk tur bütçesi: 3 parça.
Kota nedeniyle atlanan gerekli aday: D1-b.
Seçilen belge sayısı: 3; yanıt için gerekli K koşulu kapsamı: eksik.
Karar: mevcut bağlamla 8 birim diye kesin yanıt verme; D1 içindeki koşul parçasını getir veya eksikliği bildir.

Bu kararda “yanıt verme” ile “hiçbir şey yapma” aynı değildir. Asistan eksik koşulu açıkça işaretleyip ek bağlam isteyebilir. Ek arama olanağı yoksa kullanıcıya hangi koşulun kaynaklarda bulunamadığını söyleyebilir. Genel kuralı istisna uygulanmış gibi sunmak, parça seçimi hatasını cevap hatasına dönüştürür.

Ek bağlamın bütçesini görünür kılın

D1-a soruyla ilgili bir belgenin başlangıcını buldurduğunda, aynı belgeden koşul parçasını getiren ikinci bir tur tasarlanabilir. Bu örnekte D1-b eklenirse bağlam dört parça olur. Dört parçayı kullandıktan sonra “üç parça bütçesinde çözdük” demeyin. Toplam maliyet ve uzunluk değerlendirmesinde iki turun bütün parçalarını hesaba katın.

Bütçe kesin olarak üç parça ise farklı bir karar gerekir. Örneğin sorunun sayısal koşuluna katkı sağlamayan D3-a çıkarılıp D1-b alınabilir. Bu değişiklik belge başına bir sınırını gevşetir ve belge sayısını ikiye indirir. Gerekçesi belge çeşitliliğini artırmak değil, soruda gerekli koşul kapsamını tamamlamaktır. Değişen kuralı ve elenen parçayı kaydedin.

D1-a=.95 genel sınır 8, D1-b=.94 K koşulunda sınır 6, D1-c=.93 kayıt alanı, D2-a=.90 sözlük, D3-a=.89 arşiv kategorisi. Soru: K koşulunda sınır nedir? Üç parça bütçesinde ham ilk üç ile belge başına bir kotasını karşılaştır. Parça ve belge sayılarını ayrı ver. Kota nedeniyle kaybolan koşulu göster. Ek turla dördüncü parça alma ve sabit üç bütçede parça değiştirme seçeneklerini ayrı maliyetlerle açıkla. Skoru doğruluk olasılığı sayma.

Beklenen cevap yalnız doğru sayı olan 6 değildir. Hangi parçanın bu cevabı desteklediği ve o parçanın seçili bağlamda gerçekten bulunup bulunmadığı gösterilmelidir. Ajan cevabı tablodaki bütün adayları görerek çıkarıp yalnız seçili üç parçada varmış gibi sunarsa, seçim deneyi geçersiz olur. Değerlendirme girdisini karar verilen bağlamla sınırlayın.

Çeşitlilik göstergesinin sınırları

Belge kimliği normalleştirmesi hatalıysa aynı belgenin kopyaları farklı kimliklerle üç kaynak gibi görünebilir. Tersine, bütün koleksiyona tek üst kimlik verilirse gerçek farklı belgeler aynı gruba sıkışabilir. Bu yüzden belge sayısının anlamı, kimliğin hangi birimi temsil ettiğine bağlıdır. Kaynak kökeni ve sürüm kayıtlarıyla tutarlı bir belge tanımı kullanın.

Bu uygulama gerçek arama kalitesinin bütününü ölçmez. Aday üretimi kötü ise kota sonradan eksik belgeyi icat edemez. Sıralama, koşul kapsamı, cevap desteği ve bütçe farklı kontrollerdir. Küçük test, bunlardan yalnız belge başına seçim kararının sonuç üzerindeki etkisini izole eder.

Bütçeyi ikiye indirin

İlk tur bütçesi iki parça olursa iki yöntemin seçimini yeniden yazın. K koşuluna yanıt vermek için hangi yöntem gerekli parçayı içerir? Sonra belge kotasını koruyarak ikinci turda D1-b eklediğinizde toplam bağlamın büyüklüğünü hesaplayın.

Ham ilk iki D1-a ve D1-b: 2 parça, 1 belge, K koşulu mevcut. Belge kotası D1-a ve D2-a: 2 parça, 2 belge, koşul eksik. Kota seçimine D1-b eklenirse toplam 3 parça ve 2 belge olur; ilk iki parça bütçesi aşılmıştır.

Kendi asistanınızda her deneme için seçilen ve atlanan parça kimliklerini, kaynak belge sayısını ve cevap için gerekli koşulları kaydedin. Böylece çeşitlilik ayarını yalnız daha çok kaynak kartı gösterdiği için değil, gerçek sorularda gerekli bilgiyi koruduğu ölçüde değerlendirebilirsiniz.