AI ajanı ortalamada hızlıyken bazı işler neden uzun sürüyor?

İki saniyelik ortalama, herkesin iki saniye beklediğini söylemez

AI ajanınız bir işi ortalama iki saniyede tamamlıyor. Ekip bu değeri hızlı buluyor, fakat bazı kullanıcılar çok daha uzun beklediğini söylüyor. İki gözlem birbiriyle çelişmek zorunda değil. Çok sayıda kısa süre, az sayıdaki uzun süreyi ortalamada gizleyebilir. Hizmeti değerlendirirken toplam süreyi iş sayısına bölmek kadar sürelerin nasıl dağıldığını görmek de gerekir.

Google’ın SRE kitabı, ortalamanın gecikmenin yavaş ucunu saklayabileceğini ve süre dağılımını izlemenin yararını açıklar. Aşağıdaki yirmi ölçüm bu ilkeden hareketle hazırlanmış sentetik bir karşılaştırmadır. Gerçek model, API veya ağ ölçümü değildir. Hangi istatistiğin hangi kullanıcı deneyimini anlattığını aynı küçük veri kümesinde yeniden hesaplayacağız.Kaynak: Google SRE — Monitoring Distributed Systems

Ölçüm sınırımız, kullanıcının isteğini göndermesinden gerekli alanları içeren son yanıtın hazır olmasına kadar geçen süredir. İlk kelimenin görünmesi veya aracın isteği kabul etmesi bitiş sayılmaz. Kuyruk bekleme ve araç bekleme bu sürenin içindedir. İnsanların çalışma dakikalarını ölçmüyoruz; duvar saatiyle geçen beklemeyi ölçen özgün bir örnek sözleşmesi kullanıyoruz.

İki ayarda aynı on görev için süre kaydedin

Bütün işler bu eğitimde tamamlanmış ve aynı kalite kontrolünü geçmiş kabul edilir. A ayarında dokuz iş birer saniye, bir iş on bir saniye sürer. Toplam yirmi saniye ve ortalama iki saniyedir. B ayarında on işin her biri 2,2 saniye sürer; toplam yirmi iki saniye ve ortalama 2,2 saniyedir. Yalnızca ortalamaya bakarsanız A daha hızlı görünür.

Bu tablo gerçek bir karşılaştırmanın adil yapıldığını kanıtlamaz. Gerçek ölçümde görevler, eşzamanlı yük, önbellek durumu ve ağ koşulları gibi etkiler de kaydedilmelidir. Burada bunlar sabit kabul edilerek istatistiklerin farkı gösterilir. Aynı on işi yan yana yazmak, farklı koşullarda ölçülmüş süreleri kendiliğinden karşılaştırılabilir yapmaz.

Ortalama: toplam süre / tamamlanmış iş sayısı.
Yüzdelik yöntemi: süreleri küçükten büyüğe sırala.
p95 için konum = yukarı yuvarla(0,95 × n).
Bu konumdaki gözlemi seç; aradaki değerlere enterpolasyon yapma.
Süre koşulu: en fazla 3 saniyede tamamlanma. Tam 3 saniye koşula dahildir.
Bu koşul örneğe aittir; gerçek bir kurumun hizmet taahhüdü değildir.

Yüzdelik ve eşik aşımı farklı ayrıntılar gösterir

On kayıt için p95 konumu yukarı yuvarlanan 9,5, yani onuncu kayıttır. A’nın sıralı listesindeki onuncu süre 11, B’nin onuncu süresi 2,2 saniyedir. Bu yöntemde A’nın p95 değeri 11 çıkar. Yüzdelik hesaplama yöntemleri farklı olabildiğinden araçtan gelen bir p95 sayısını yöntemini bilmeden bu değerle karşılaştırmayın.

A’nın p90 değeri bir saniyedir; p95 değeri ise on bir saniye. Bu büyük fark verinin son gözleminden gelir. Küçük örneklemde bir uç gözlem yüzdelik değerini güçlü biçimde etkileyebilir. Tabloyu uzun dönem hizmet davranışının hassas tahmini diye sunmayın. Burada L10’un görünür kalması, istatistiğe sahte bir kesinlik yüklemekten daha önemlidir.

Üç saniye koşulu doğrudan sayılabilir: A’da L01–L09 geçer, L10 kalır; B’de on iş de geçer. Ortalamanın daha düşük olduğu A, bu koşulda bir işi geç tamamlar. Seçiminiz bütün örnek işlerin üç saniyede tamamlanmasını gerektiriyorsa B bu küçük veri kümesinde aday olur. Kalite, maliyet ve gerçek yük koşulları verilmeden genel ürün tercihi yapılamaz.

L01–L10 için A/B sürelerini ve ölçüm sınırını kullan. Toplam, ortalama, belirtilen en yakın sıra yöntemiyle p90/p95 ve en fazla üç saniyede tamamlanan iş sayısını hesapla. L10’u aykırı diye çıkarma. İlk yanıtı son yanıtla karıştırma; kalite eşitliği verilen varsayımdır. Çıktı: hesap tablosu, koşullu karar ve gerçek ölçümde kaydedilecek koşullar. Canlı gecikme veya uzun dönem hizmet garantisi iddia etme.

A daha düşük ortalama taşıyor: 2 saniye. Ancak L10 için bekleme 11 saniye ve üç saniye koşulu 9/10 işte karşılanıyor. B’nin ortalaması 2,2 saniye; koşul 10/10 işte karşılanıyor. Bu örnek işlerde üç saniye koşulunu önceleyen bir değerlendirmede B adaydır. Daha geniş yük, maliyet ve kalite incelemesi yapılmadan yaygınlaştırma kararı verilmez.

Tamamlanmayan işi süre listesinden görünmez kılmayın

Gerçek ölçümde bazı işler zaman aşımına uğrayabilir. Bunları tamamlanan işler tablosundan sessizce çıkarırsanız hızlı kalan alt kümeyi ölçmüş olursunuz. Başlamış iş, tamamlanmış iş ve zaman aşımı sayılarını ayrı raporlayın. Sonucu gelmeyen bir işe sıfır saniye vermek de doğru değildir. Ölçüm penceresi sonunda ne kadar gözlendiğini ve bitişin bilinmediğini kaydedin.

Küçük alıştırma: A’daki L10 beşinci saniyede gözlem kesildiği için tamamlanmamış olsun. Gerçek tamamlanma süresini 5 veya 11 diye yeni veri olarak yazamazsınız. Bildiğiniz şey ilk dokuz işin birer saniyede tamamlandığı ve L10’un beş saniyelik gözlemde bitmediğidir. Tamamlanan dokuz işin ortalaması 1 saniye olabilir; bütün on işin tamamlanma ortalaması diye sunulamaz.

Bu durumda üç saniye koşulunu L10 için değerlendirmek mümkündür: beş saniyede hâlâ bitmediyse üç saniyede tamamlanmış olamaz. Fakat son tamamlanma süresi bilinmediğinden on işin p95 hesabını önceki tabloyla aynı biçimde kuramazsınız. Eşik ihlali bilgisiyle tamamlanma zamanı farklı gözlemlerdir; biri biliniyor diye diğerini doldurmayın.

Son raporda ölçüm başlangıcı ve bitişi, tamamlanma durumları, süre dağılımı ve hesap yöntemi birlikte bulunsun. Yapay zekâ bu tabloyu özetleyebilir; yavaş işleri görünür tutan şey kayıt kapsamıdır. Bir sonraki denemede yalnızca ortalamayı düşürmeye çalışmak yerine, hangi adımın uzun bekleyen işlerde biriktiğini kaynak izleriyle inceleyebilirsiniz.