AI ajanı aynı işi döndürüp duruyorsa çağrı bütçesi nasıl konur?

‘Bir kez daha arayayım’ ne zaman durmalı?

Bir ajan iki belgeyi bulup kısa bir karşılaştırma hazırlayacak. İlk belge geliyor, ikinci belge bulunamıyor. Ajan sorguyu değiştiriyor, aynı belgeyi yeniden açıyor, sonra başka bir arama deniyor. Tek tek bakıldığında her çağrı makul görünebilir; toplamda görev ilerlemiyordur. Sürekli uğraşmayı başarı göstergesi saymak yerine, hangi yeni kanıtın görevi ilerlettiğini ve ne zaman durulacağını tanımlamak gerekir.

Bu yazıda yalnızca belge arayan ve taslak hazırlayan sentetik bir ajan kullanıyoruz. Gerçek araç çalıştırması, ücret veya ürün performansı ölçümü yoktur. Örnek iki ayrı kontrolü birleştirir: mantıksal görev başına toplam araç çağrısı üst sınırı ve art arda yeni kanıt getirmeyen sonuçlar için erken durma kuralı. Bunların yanında üretim ortamında süre ve model kullanımı için ayrı sınırlar gerekebilir.

OWASP’ın sınırsız kaynak tüketimi açıklaması kota, zaman aşımı ve kuyruktaki eylemler için sınır koyma gibi kontrolleri ele alır. Aşağıdaki sekiz çağrı ve iki ilerlemesiz sonuç eşikleri bu yazının eğitim varsayımıdır. Bütün ajanlara uygun hazır sayılar veya maliyet garantisi değildir; gerçek sınırlar görev, araç davranışı ve kabul edilen gecikmeyle belirlenmelidir.Kaynak: OWASP — Unbounded Consumption

Neyi saydığınızı açıkça yazın

Görev: Onaylı A ve B belgelerindeki kayıt alanlarını karşılaştır; iki kaynak olmadan karşılaştırmayı tamamlandı sayma.
İzin: Yalnızca arama ve belge okuma araçları.
Toplam bütçe: Görev başına en fazla 8 başlatılan araç çağrısı; tekrar denemeleri dahil.
Erken durma: Art arda 2 çağrı yeni, ilgili ve doğrulanmış kanıt getirmezse dur.
Bitiş: İki kaynak varsa karşılaştırma taslağı; eksikse bilinenler ve eksikler paketi.

Burada çağrı, araca başlatılan her denemedir. Zaman aşımı yaşanması çağrıyı sayımdan düşürmez; deneme yapılmıştır. Araçtan dönen belge sayısı başka bir ölçüdür. Bir arama tek çağrıda beş belge döndürebilir. Modelin bir metin üretim turu da araç çağrısıyla aynı şey değildir. Bu ölçüleri tek sayaçta toplarsanız hangi sınırın uygulandığını açıklamak zorlaşır.

Bütçeyi isteme yazmak yararlıdır, fakat uygulama da çağrıyı başlatmadan önce sınırı denetlemelidir. Ajanın kendi açıklamasındaki ‘sekiz çağrı yaptım’ ifadesine güvenmeyin. Sayaç görev kimliğine bağlı tutulmalı ve alt akış aynı görev adına çalışıyorsa ortak bütçeyi tüketmelidir. Yeni bir alt görev etiketi açmak, toplam sınırı sessizce sıfırlamamalıdır.

Yeni metin ile yeni kanıtı ayırın

Bu örnekte ilerleme, gereken A veya B belgesi hakkında daha önce doğrulanmamış ilgili bilginin elde edilmesidir. İlk arama A’nın kayıt kimliğini bulabilir; sonraki okuma A’nın gerekli alanlarını doğrulayabilir. İkisi farklı bilgi katkılarıdır. Aynı A içeriğini farklı sorguyla tekrar görmek ise ilerleme sayılmaz. Sorgunun sözcüklerinin değişmesi, bilgi durumunun değiştiği anlamına gelmez.

Dördüncü çağrıda toplam bütçenin yarısı kullanılmıştır: 4 / 8. Kalan dört hakkın bulunması devam etmeyi zorunlu kılmaz; erken durma koşulu önce gerçekleşmiştir. Ajan iki belgeyi karşılaştırma görevini tamamlamamıştır. Ancak bunu açıkça söyleyip eksik B kaynağını istemesi, sonsuz bir aramadan daha denetlenebilir bir sonuçtur. Tamamlanmayan görev tamamlandı etiketi almamalıdır.

Durunca kullanılabilir bir bilgi paketi bırakın

Bu sentetik görevde yalnızca onaylı A ve B belgelerini arayıp oku. Her araç sonucunda yeni doğrulanan ilgili bilgiyi kaydet; aynı içeriği yeni kanıt sayma. İki ardışık ilerlemesiz sonuçta veya toplam sekiz çağrı sınırında dur. Eksik B belgesini uydurma. Durduğunda bulunan kaynaklar, eksik bilgi, yapılan denemeler ve insandan gereken girdiyi yaz. Karşılaştırma tamamlanmadıysa bunu açık belirt. Araç bütçesinin uygulama tarafından da denetlendiğini varsay; kendi sayımını sistem sayacı yerine sunma.

Durum: Karşılaştırma tamamlanmadı.
Doğrulanan: A belgesinin kimliği ve kayıt alanları.
Eksik: B belgesinin onaylı kaydı ve içeriği.
Kullanım: 4 başlatılan araç çağrısı; son 2 sonuç yeni kanıt getirmedi.
Durma nedeni: İlerleme sınırı.
İnsandan gereken: B'nin doğru belge kimliği veya mevcut olmadığının teyidi.
Sonraki karar: Yeni bilgi gelirse sorumlu tarafından tanımlı devam izni; otomatik yeni döngü yok.

Devir paketinde arama metinlerinin tamamını kontrolsüz biçimde kullanıcıya dökmek gerekmez. Görevle ilgili bulunan ve eksik bilgileri, deneme sayısını ve durma nedenini gösterin. Ayrıntılı işlem izi yetkili inceleme için saklanabilir. Kullanıcıya ‘sistem hatası’ gibi genel bir etiket vermek yerine hangi girdinin işi ilerleteceğini söylemek yeniden başlatma kararını somutlaştırır.

Üst sınırı olumlu sonuçlarla da sınayın

Erken durma örneği toplam üst sınırın çalıştığını kanıtlamaz. İkinci bir testte her çağrı yeni ilgili bilgi getirsin, fakat sekizinci çağrıdan sonra görev hâlâ tamamlanmamış olsun. Beklenen davranış dokuzuncu çağrının hiç başlatılmamasıdır. Ajan ‘bir son kontrol daha gerekli’ dese bile görev bütçesini kendi başına genişletememelidir. Sınır değişecekse yetkili karar ve yeni toplam açıkça kaydedilmelidir.

1. Boş sonuç: Çağrı sayılır ve yeni kanıt yoksa ilerlemesiz sayaç artar.
2. Zaman aşımı: Başlatılmış deneme bütçeyi tüketir; tekrar çağrısı da ayrıca sayılır.
3. Yeni ilgili kanıt: İlerlemesiz sayaç sıfırlanır; toplam çağrı sayısı sıfırlanmaz.
4. Alt akış: Aynı mantıksal görevin kalan bütçesini kullanır.
5. Eşzamanlı çağrılar: Başlatılacak toplam deneme için bütçe önceden ayrılır; iki dal aynı son hakkı kullanamaz.

Küçük alıştırma: Üçüncü çağrı boş dönsün, dördüncü çağrı B’nin kimliğini bulsun, beşinci çağrı B’yi okuyup gerekli alanları doğrulasın. Beklenen sonuçta dördüncü çağrı ilerlemesiz sayacı sıfırlar; beşincide iki kaynak tamamlanır. Toplam beş çağrı kullanılır ve karşılaştırma taslağı hazırlanabilir. Sayaçların ikisini birden sıfırlayan bir tasarım toplam bütçeyi kaybeder.

Son kontrol kaydınız görev kimliği, toplam başlatılan çağrı, ardışık ilerlemesiz sonuç, tamamlanma koşulu ve durma nedenini birlikte taşımalıdır. Ayrıca bir araç çağrısının sonsuza kadar beklememesi için zaman aşımı, araçsız model döngüsü için de ayrı tur veya süre sınırı gerekir. Çağrı bütçesi bu daha geniş işletim düzeninin belirli bir parçasıdır; tek başına bütün kaynak tüketimini ölçmez.