AI ajanında sürüm değişince aynı başarı oranı neden yetmez?

Yeni sürüm de yüzde 75 aldı; geçebilir miyiz?

Ekibiniz, destek taslağı hazırlayan ajanın istemini sadeleştirdi. Sekiz görevlik kontrolün altısında başarı var. Eski sürüm de altı görevde başarılıydı; toplam oran değişmedi. Ancak yeni sürüm daha önce doğru gösterdiği bir kaynak kimliğini yanlış eşleştiriyor. Biçim düzeltmesiyle kazanılan bir puan, bu gerilemeyi toplamda örtüyor. Sürüm geçişini yalnızca tek sayıya bağlamak böyle bir değişikliği görünmez bırakır.

Aşağıdaki çalışma tamamen sentetiktir. Bir ürünün veya modelin gerçek performansını ölçmez. Amaç, sürüm karşılaştırmasını görev bazında okumayı öğrenmektir. Eski sürümü A, aday sürümü B diye adlandıracağız. Bu alıştırmada değişen tek yapılandırma istem metnidir; model, araç tanımları ve kaynak kayıtları sabit kabul edilir. Gerçek uygulamada değişen her bileşeni ayrıca kaydetmeniz gerekir.

Anthropic’in ajan değerlendirme açıklaması görevleri, aynı görevin tekrarlarını, değerlendiricileri, işlem izini ve çevrede oluşan sonucu ayırır. Bu ayrım, ajanın ‘tamamladım’ demesiyle görevin gerçekten tamamlanmasını karıştırmamayı sağlar. Buradaki küçük tablo bu yaklaşımı öğretmek içindir; sekiz örnek üretime geçiş için evrensel olarak yeterli bir sayı değildir.Kaynak: Anthropic — AI ajanları için değerlendirmeler

Karşılaştırmadan önce test paketini dondurun

Her görev için kullanıcı girdisini, erişilebilir belge parçalarını, araçların döndüreceği sabit yanıtları ve beklenen sonucu ayrı kaydedin. A sürümünü dünün belgeleriyle, B sürümünü bugünün düzeltilmiş belgeleriyle çalıştırırsanız farkın nereden geldiğini bilemezsiniz. Önce aynı koşullarda karşılaştırma yapın; güncel veriyle ek kontrolü ayrı bir çalışma olarak yürütün.

1. Paket kimliği: destek-kontrol-03; sekiz değişmez görev ve araç yanıtları.
2. Değişiklik: A isteminden B istemine geçiş; diğer ayarlar kayıtta sabit.
3. Görev kabulü: gereken alanlar, kaynak eşleşmesi, hesap ve durma davranışı önceden yazılı.
4. Kritik kural: T2 kaynak kimliği yanlışsa aday sürüme geçiş bekletilir.
5. Değerlendirme: Her çıktıyı aynı ölçütlerle inceleyen sorumlu, bulgusunu işlem iziyle kaydeder.

Kritik etiketi, sonuçları gördükten sonra istediğiniz kararı desteklemek için eklemeyin. Bu örnekte kaynak kimliği, gözden geçiren kişinin dayanağı bulabilmesi için zorunludur; yanlış kimlik taslağın denetlenmesini bozar. Başka bir görevde kritik koşul farklı olabilir. İş sahibi, hatanın etkisini ve geçişi engelleyen koşulu karşılaştırma başlamadan belirlemelidir.

Aynı toplamın altındaki değişen satırları bulun

A sürümünde T5 ve T7, B sürümünde T2 ve T7 başarısızdır. Her iki sürümde 6 / 8 = yüzde 75 başarı vardır. Dört eşleşme grubunu ayrı sayın: beş görev iki sürümde de geçti, bir görev iki sürümde de kaldı, bir görev düzeldi ve bir görev bozuldu. Toplam 5 + 1 + 1 + 1 = 8 eder. Bu döküm, toplam oranın gizlediği hareketi gösterir.

Beklenen: 'Teslim alma notu K17 kaydına dayanır.'
B çıktısı: Aynı notun sonunda K71 kimliği var.
Araç izi: Dönen parçada kaynak kimliği K17; K71 bu görevde hiç getirilmedi.
Bulgu: Kaynak eşleştirme gerilemesi.
Geçiş kararı: B bekletilir; T5 biçim iyileşmesi kritik hatayı telafi etmez.

T2’ye ‘yanlış cevap’ demek yerine hangi alanın hangi kayıtla uyuşmadığını yazmak düzeltmeyi mümkün kılar. T8’de ise yalnızca son metne bakmayın. Çıktıda ‘göndermedim’ yazsa bile gönderim aracı çağrılmış olabilir. Kabul koşulunun ilgili olduğu kanıtı seçin: metin alanı için çıktı, araç davranışı için çağrı kaydı, oluşan işlem için test ortamındaki son durum.

Bir denemeyi kararlı davranış sanmayın

Bu sentetik A/B tablosunu önceden yazılmış kabul kurallarıyla incele. Aynı geçen, aynı kalan, düzelen ve bozulan görevleri ayrı listele. Başarı oranlarını hesapla; kritik T2 koşulunu toplam puanla dengeleme. Kararın dayanağını görev kimliği ve işlem iziyle göster. Tek denemeden istatistiksel üstünlük veya kararlılık çıkarma. Eksik kanıtı ve sonraki kontrol adımını açıkça yaz.

Bu tablodaki her hücre bir açıklayıcı denemeyi temsil eder. Gerçek ajan davranışı değişken olabileceği için aynı görevi yeniden çalıştırmak gerekir. Örneğin her sürüm ve görev için üç tekrar planlarsanız toplam 2 × 8 × 3 = 48 deneme olur. Tekrar sayısı burada eğitim planıdır; güven düzeyi garantisi değildir. Her tekrarın ham sonucunu saklayın, yalnızca en iyi çıktıyı seçmeyin.

Adayı düzeltirken değerlendirme ölçütünü gevşetmeyin. T2’de K17 bekleniyorsa K71’i ‘yaklaşık doğru’ saymak problemi çözmez. Yeni istemi C olarak kaydedip önce hatalı görevi inceleyin, ardından bütün sabit paketi yeniden çalıştırın. Yerel düzeltmenin T1’de alan kaybına veya T6’da uydurulmuş süreye yol açmadığını ancak diğer görevleri de kontrol ederek görebilirsiniz.

Geçiş kararını bir satırlık onaya sıkıştırmayın

Küçük alıştırma: B’de T2 düzelmiş, T7 de geçmiş olsun; fakat T8’de gönderim aracı çağrılmış olsun. Başarı sayısı yediye çıkar: yüzde 87,5. Önceden belirlenen geçiş kurallarında izinsiz gönderim de kritikse daha yüksek oran geçişi haklı çıkarmaz. Hata kaydında çağrının gerçekten yapıldığını gösterin ve aday sürümü bekletin. Kritik kurallarınızda T8 yoksa bunu sonradan sessizce eklemek yerine risk kararındaki eksikliği ayrıca belgeleyin.

Son karar notu aday yapılandırmayı, kullanılan paket sürümünü, tüm tekrarları, gerilemeleri ve geçişi onaylayan sorumluyu içermelidir. Bu örneğin tamamlanmış çıktısı B için bekletme kararıdır; mevcut A sürümünün her koşulda güvenli olduğu sonucu değildir. Bilinen T7 eksikliği ayrı iş olarak kalır. Sürüm kontrolü, yeni hatayı eski borçla karıştırmadan izlemeyi sağlar.