AI metin vektörünün ortalamasına dolgu konumları da katılıyorsa.

Aynı metnin yanına dolgu eklemek sonucu değiştirmeli mi?

İki metin aynı toplu işte işlensin diye kısa olana ek konumlar ekleniyor. Gerçek metin değişmediği halde son vektör değişiyorsa bakılacak yerlerden biri ortalama hesabıdır. Eşit uzunluk sağlamak için kullanılan dolgu konumları, anlam taşıyan konumlarla birlikte ortalamaya girmiş olabilir. Burada sorun yalnız toplamdaki fazla değerler değildir; paydanın hangi konumları saydığı da önemlidir.

Sentence Transformers all-MiniLM-L6-v2 model kartındaki mean pooling örneği, attention mask değerlerini kullanarak hem vektör toplamını hem bölünen konum sayısını sınırlar. Bu yazı o hesap ilkesini küçük, elle denetlenebilir bir veri üzerinde inceler. Örnekteki vektörler modelden çıkarılmamıştır; bir embedding modelinin gerçek davranışı veya başarısı olarak sunulmaz.Kaynak: Sentence Transformers — all-MiniLM-L6-v2 model kartı

Amacımız belirli bir model için her zaman ortalama kullanmak gerektiğini söylemek değildir. Modelin önerdiği temsil yöntemi farklı olabilir. Önce ilgili modelin sözleşmesini okuyun; ortalama kullanılıyorsa hangi konumların dahil edildiğini, ardından son vektörün normalleştirilip normalleştirilmediğini belirleyin. Buradaki kontrol yalnız açıkça tanımlanmış maskeli ortalama içindir.

Gerçek konumları dolgudan ayırın

Dolgu vektörlerinin büyük seçilmesi hatayı görünür kılar. Gerçek bir modelin dolgu konumlarından mutlaka bu değerlerin geleceği iddia edilmiyor. Denetim açısından önemli koşul, maskesi sıfır olan konumların hangi sonlu değeri taşıdığına bakılmaksızın hesap kapsamı dışında kalmasıdır. Maskesi bir olan iki gerçek konum ise aynı ağırlıkla kullanılır.

Bütün dört konumu toplarsanız (18,18), dörde bölerseniz (4,5;4,5) bulursunuz. Doğru kapsamda yalnız T1 ve T2 toplanır: (2,2). Dahil edilen konum sayısı iki olduğu için sonuç (1,1) olur. Bu iki sonuç arasındaki fark, metin içeriğinden değil ortalamaya dahil edilen konumlardan kaynaklanır.

İkinci satır sık görülen yarım düzeltmeyi gösterir. Dolgu vektörlerini sıfırla çarpmak toplamı düzeltir; ama uzunluğu hâlâ dört sayarsanız sonuç küçülür. Genel ifade, konum bazında maske ile çarpılmış vektörlerin toplamının maskelerin toplamına bölünmesidir. Bu örnekte maskeler yalnız sıfır ve birdir; ağırlıklı başka bir sözleşme tanımlanmamıştır.

Aynı gerçek veriyi farklı dolgularla sınayın

T1 ve T2’yi sabit tutup dolgu sayısını sıfır, iki ve beş yapın. Maskeli ortalama her durumda (1,1) kalmalıdır. Bu, beklenen bir değişmezlik koşuludur. Sayısal sonuçların kendisini bilmeden de dolgunun etkisiz kalması gerektiğini kontrol edebilirsiniz. Dolgu konumlarının değerlerini değiştirmek de aynı koşulu sınar.

Sıfır dolgusu tek başına zayıf bir test olabilir. İki adet (0,0) dolgu ile yanlış maskesiz ortalama (0,5;0,5) çıkar. Sonradan birim norma getirildiğinde bu vektör ile doğru (1,1) aynı yöne dönüşür; sonraki normalleştirme hatayı gizleyebilir. Ancak bu durum maskesiz hesabın genel olarak doğru olduğunu göstermez.

Dolgu vektörlerini (8,0) ve (8,0) yapın. Maskesiz ortalama (4,5;0,5) olur; maskeli ortalama yine (1,1) kalır. Yanlış vektörü birim norma getirmek bile doğru yönü geri getirmez. Dolgu testinde yalnız sıfır veya simetrik değer kullanmak bu hatayı kaçırabilir.

Bu karşı örnek, toplamın iki bileşenini ayrı kontrol etmeyi gerektirir. Tek bir büyüklük veya norm sayısına bakmak yönün doğru olduğunu kanıtlamaz. Çıktı vektörünü, maske toplamını ve kullanılan gerçek konum kimliklerini birlikte raporlamak daha açıklayıcıdır.

Ortalamayı denetlenebilir hale getirin

T1=(2,0), T2=(0,2), P1=(8,8), P2=(8,8), maske=[1,1,0,0]. Bunlar sentetik sonlu vektörlerdir. Maskesiz, yalnız payı maskelenmiş ve payı/paydasını birlikte maskeleyen ortalamayı ayrı hesapla. Her bileşenin toplamını göster. Gerçek konumları sabit tutarak dolgu sayısını ve dolgu vektörlerini değiştir. Sonuç değişmezliğini sınayacak en az bir asimetrik dolgu kullan. Maske uzunluğu uyuşmazsa veya tüm maskeler sıfırsa sayısal cevap üretme.

Bu istemin beklenen yanıtı yalnız (1,1) sayısı değildir. Yanıt, dört konumdan ikisinin seçildiğini ve paydanın neden iki olduğunu açıklamalıdır. Ajan dolgu konumlarını önce sildiğini söylüyorsa hangi kimliklerin kaldığını da göstermelidir. Kimlik izi, vektör sırasıyla maske sırasının yanlış hizalanmasını yakalamanıza yardım eder.

Maske boyutunun vektör konumu sayısıyla aynı olduğunu doğrulayın. Dört vektöre üç maske uygulamak bu örnek sözleşmede geçersiz girdidir. Programın sessizce kısaltması, tekrarlaması veya yayınlama kurallarıyla biçimi uydurması kabul edilmez. Ayrıca gerçek vektörlerin bileşen sayıları eşit, değerleri sonlu olmalıdır; bunlar ortalama hesabından önce denetlenir.

Bütün konumlar dışarıdaysa

Maske [0,0,0,0] olduğunda payda sıfırdır. Bu eğitim akışı empty_selection durumu döndürür ve sayısal temsil üretmez. Bazı uygulamalar paydayı küçük bir alt sınırla koruyabilir; bunun hata önleme davranışı, boş girdinin anlamlı metin temsili sayılmasını kendiliğinden haklı çıkarmaz. Alıcının boş sonuçla ne yapacağı ayrıca tanımlanmalıdır.

Modelin ileri geçişinde attention mask kullanılmasıyla, sonrasında vektörlerin havuzlanmasında aynı kapsamın uygulanması ayrı adımlardır. İlk adımın bulunması ikinci hesabın doğru yapıldığını kanıtlamaz. Ayrıca özel başlangıç veya bitiş belirteçlerini kendi tercihinizle dışlamayın; hangi konumların kullanılacağı modelin önerilen temsil yöntemiyle tutarlı olmalıdır.

Üç gerçek konuma geçin

Gerçek vektörler (3,0), (0,3), (3,3) olsun. Sonlarına bir adet (12,0) dolgu ekleyin ve maskeyi [1,1,1,0] yapın. Doğru ortalamayı, maskesiz ortalamayı ve maskeli payın yanlışlıkla dörde bölünmesini karşılaştırın. Hangi sonucun dolgu sayısına bağlı olduğunu açıklayın.

Gerçek toplam (6,6), doğru payda 3 ve ortalama (2,2). Maskesiz toplam (18,6), ortalama (4,5;1,5). Yalnız pay maskeli olursa (1,5;1,5). Son iki hesap dolgu uzunluğuna bağlıdır; doğru hesap yeni sıfır maskeli konumlar eklendiğinde değişmez.

Kendi denemenizde kabul ölçütünü “kod hata vermedi” olarak bırakmayın. Aynı gerçek konumlar için farklı uzunluk ve farklı dolgu değerlerinde aynı temsilin elde edilmesini isteyin. Bu koşul sağlandıktan sonra, seçtiğiniz temsilin gerçek görevde yararlı olup olmadığını ayrı örneklerle değerlendirin.