Başarılı AI pilotunu ikinci departmana taşımak: neyi yeniden sınamalısınız?

Başarılı pilotun hangi koşullarda başarılı olduğunu taşıyın

Satış ekibi belge sorularına kaynaklı taslak hazırlayan pilotunu kabul etti. Satın alma yöneticisi aynı aracı kendi ekibine açmak istiyor. Ekran ve model aynı olabilir; fakat belgeler, karar yetkileri, günlük iş miktarı ve hatanın etkisi değişiyor. İlk pilotun sonucu bu yeni koşulları ölçmüş değildir. Yayılım kararı, nelerin aynen kullanılabileceğiyle nelerin yeni kanıt istediğini yan yana koyduğunuzda somutlaşır.

NIST AI RMF, kullanım bağlamı değiştikçe varsayımların yeniden ele alınmasını ve ölçümlerin ilgili bağlamla ilişkilendirilmesini destekler. Bu rehberdeki görev sayıları, kapasite ve kabul koşulları özgün eğitim tasarımıdır; NIST tarafından verilmiş eşik veya sertifikasyon değildir.Kaynak: NIST — AI RMF Core

Aşağıdaki kurum, departman dosyaları, test kayıtları ve süreler sentetiktir. Gerçek bir model denemesi yapıldığı veya başarı ölçüldüğü iddia edilmez. Tamamlanmış uygulamamız, hazır girdilerden bir aktarım matrisi ve beklenen cevap anahtarı üretir. İlk pilotun neyi kanıtladığını koruyacak, ikinci departman için ayrı kabul dosyası hazırlayacağız.

Eski dosyada tekrar kullanılacak şey yalnız prompt değildir

A3, bu sentetik dosyada kabul edilmiş bir sonuç varsayımıdır; yeni departmanın başarı yüzdesi değildir. Yirmi vakayı satın alma görevleriyle aynı paydaya eklemeyin. İlk pilotun sürüm kaydı, kaynak gösterme biçimi ve hata kayıt şablonu yeniden kullanılabilir. Ancak P1 dışında yeni belge eklemek, okuyucu rolünü genişletmek veya gönderim aracı açmak aynı kapsamın tekrarı sayılmaz. Her değişiklik yeni kabul sorusuna dönüşür.

Satışın belge sahibi satın alma belgelerini de otomatik yönetmez. Yeni departmanın onaylı kaynağı, yenileme sorumlusu ve yürürlük kararı bulunmalıdır. Geçiş dosyasına açık kalmış eski sorunları da ekleyin; başarılı pilot etiketi bunları silmez. Aynı model sürümünü kullanmak kaynak ve izin değişikliğinin etkisini ortadan kaldırmaz. Bu nedenle yalnız teknik kurulumun kopyalanması tamamlanmış yayılım değildir.

Yeni iş yükünü görev, izin ve kaynakla tarif edin

İkinci departmanda iki kontrolörün her birine günde 240 dakika ayrılmıştır; toplam 480 dakika. Bu süreler diğer işlerinden sonra gerçekten ayrılmış net süredir. İlk model taslağını okuma, gerekli düzeltme ve istisna incelemesi tabloda verilen dakika varsayımlarına dahildir. Süreler eşit hızdaki model cevapları değildir; insan kontrol emeğidir. Başlangıçta kuyruk olmadığı ve işlerin gün içinde dağıldığı varsayılır; saatlik yığılma ayrıca sınanmalıdır.

G3’te yalnız kıdemli rol P3’ü okuyabilir; genel satın alma rolü okuyamaz. G6 otomatik sipariş gönderimi istemesine rağmen izin sınırı salt okumadır. Doğru davranış gönderim yapmamak ve yetkili insana yönlendirmektir. Bu iki görev yalnız doğru cevap metniyle geçemez; erişilen kaynak ve çağrılan araç kayıtları da incelenir. Modelin ‘göndermedim’ demesi tek başına işlem yapılmadığını kanıtlamaz.

Her yeni görev için sınanabilir bir vaka hazırlayın

Bu altı vaka altı görev ailesini kapsar; yeterli örneklem veya gelecekte hatasız kullanım garantisi değildir. U3 iki rol altında yürütülür, dolayısıyla görev ailesi sayısıyla çalıştırma sayısı farklıdır. Gerçek denemede her tekrarın girdisi, çıktısı, kaynak izi ve araç çağrısı saklanmalıdır. Görev sahibi cevapları kaynak metinle, BT ise izin ve araç izleriyle değerlendirir. Aynı modele kendi cevabını puanlatmak tek bağımsız kontrol olmaz.

Kritik ret koşulları testten önce yazılır: U3’te yetkisiz içerik getirilmesi veya U6’da gönderim çağrısı bütün geçişi bekletir. Diğer dört vakanın doğru olması bunları telafi etmez. U5 çelişkisi de düzeltilmeden ilgili kapsam açılmaz. Düzeltmeden sonra yalnız sorunlu soruyu değil ilişkili roller ve diğer görevleri de yeniden çalıştırın; izin düzeltmesi meşru kullanımı bozmuş olabilir. Eski satış paketindeki kontroller de ortak yapılandırma değişmişse tekrarlanır.

Teknik kabul ile işletim kapasitesi iki ayrı kapıdır

G1: 40 × 2 = 80; G2: 60 × 3 = 180; G3: 20 × 4 = 80; G4: 10 × 2 = 20; G5: 10 × 3 = 30; G6: 10 × 4 = 40 dakika.
150 iş için toplam 430 dakika. Kapasite 2 × 240 = 480; kalan 50 dakika. Bu günlük toplam, anlık kuyruk veya süre garantisi değildir.

Bu koşullarda günlük aritmetik sınır aşılmaz; fakat U1–U6’nın gerçek deneme kanıtları henüz yoktur. Dolayısıyla karar ‘hemen bütün departmana aç’ olamaz. Önce sınırlı grupta yeni paket çalıştırılır; görev sahipleri kabul eder, BT erişim sınırını doğrular, yönetici kontrol kapasitesini teyit eder. Gerekli kanıt gelmeden yeni kullanıcı sayısını artırmak, eski başarı etiketini yeni bağlamda varsayım olarak kullanmaktır.

Biçim ve hata kaydı aktarılabilir; görev/kaynak ve kapasite uyarlanacak. Yeni kabul paketi U1–U6 tamamlanana, U3/U6 kritik retleri geçene ve iki kontrolörün zamanı teyit edilene kadar yayılım bekler. Belge sahibi satın alma, erişim sahibi BT, kabul sahibi süreç yöneticisidir. Sorunda yeni kapsam durur; mevcut insan yöntemi sürer. İlk pilotun sonuçları yeni başarı oranı diye yazılmaz.

Bir arıza olduğunda kimin kuyruğu devralacağını, hangi işi insan yöntemine döndüreceğini ve hangi durumda yeniden açılacağını kayda bağlayın. Kapasite açığını yalnız kullanıcıya daha hızlı kontrol etmesini söyleyerek kapatmayın. Kapsam azaltma, sıralı geçiş veya gerçekten ayrılmış ek kontrol zamanı seçenekleri ayrıca değerlendirilebilir. Bu seçeneklerin maliyet ve görev etkisi bilinmeden otomatik tercih yapılmaz.

Geçiş dosyasını bir hacim değişikliğiyle sınayın

A1–A5 ilk kabul dosyasını G1–G6 yeni görevlerle karşılaştır. Aynen aktarılabilir, uyarlanmalı ve yeniden sınanmalı öğeleri gerekçelendir. Her görevi U1–U6 kabul vakasına bağla; U3 rol çifti ve U6 araç izini zorunlu tut. Günlük insan yükünü 480 dakika ile karşılaştır. Eksik test sonucu, izin veya başarı yüzdesi uydurma. Kritik ret bozulursa yayılımı beklet; sorumlu ve insan yöntemine dönüşü göster.

• Altı yeni görevin tamamı kabul vakasına bağlı mı?
• Yeni belge ve rol kapsamı ayrı sınanıyor mu?
• İlk ve ikinci departmanın paydaları ayrı mı?
• Kontrol dakikaları düzeltme ve istisnaları içeriyor mu?
• Bekletme kararının sahibi ve yeniden açma kanıtı belli mi?

Alıştırma: Teknik kabul koşullarının tamamlandığını varsayın; ancak G2 günlük işi 60’tan 120’ye çıksın. Kontrol süreleri ve ayrılmış kapasite değişmiyor. Yeni yükü ve açığı bulun. Önceki geçiş kararının neden teknik testler aynı kalsa da yeniden açılması gerektiğini açıklayın.

G2 yükü 120 × 3 = 360 dakika; toplam 430 + 180 = 610 dakika. 480 dakikalık kapasite 130 dakika eksik kalır. Yeni günlük hacim 210 iştir. Diğer görevler 250 dakika kullanırken G2 için 230 dakika kalır; yalnız bu sabit varsayımlarla en çok 76 tam G2 işi sığar. Tam hacimde geçiş bekler; kapsam veya onaylı kapasite yeniden tasarlanır.

Bu 76 iş bir hizmet seviyesi vaadi değildir; günlük toplamın aritmetik sınırıdır. Gerçek işletimde geliş zamanları, devamsızlık ve zor vakalar da incelenir. Yayılım dosyasını görev, kaynak, izin, kabul ve kapasite sürümleriyle birlikte tutarsanız yeni departmana taşınan şey eski bir başarı yüzdesi değil, hangi koşullarda yeniden karar verileceği belli bir çalışma düzeni olur.