Yapay zekâ pilotunda zaman kazancını nasıl ölçersiniz?

On dakikalık taslak, on dakikalık iş değildir

Ekip, yarım saatte hazırladığı bir bilgi notunun ilk taslağını birkaç dakikada elde ediyor. Pilot değerlendirmesinde yalnızca bu süre gösterilirse sonuç etkileyici görünür. Oysa kaynakların hazırlanması, taslağın okunması ve hataların düzeltilmesi de aynı işin parçasıdır. Zaman kazancını ölçmek için başlangıç ve bitiş noktasını ‘kullanıma kabul edilen çıktı’ üzerinden tanımlayın; kontrol emeğini de hesaba katın.

Bu yazı, hangi AI fırsatının seçileceğini ele almıyor. Ön koşulunuz, sınırları belli bir pilot görev, sorumlu kişi ve karşılaştırabileceğiniz mevcut çalışma yöntemi olmasıdır. Örneğimizde kurum içi bilgi notları hazırlanacak. Çalışanların her türlü işine genellenen bir hız iddiası yerine, tek görev türünde neyin değiştiğini göreceğiz. Sonunda kısa bir ölçüm tablosu ve gerekçeli devam kararı elde edeceksiniz.

İnsan emeğini geçen süreden ayırın

İnsan emeği, kişilerin görev üzerinde aktif çalıştığı dakikaların toplamıdır. Geçen süre ise görevin başlaması ile bitmesi arasındaki takvim süresidir. Bir taslak on dakika onay beklerken çalışan başka bir iş yapabiliyorsa bu bekleme insan emeğine on dakika olarak eklenmez; yine de teslim süresini etkiler. İki kişi aynı anda beş dakika incelerse geçen süre beş, toplam insan emeği on dakikadır.

NIST’in ölçüm yaklaşımı; kullanılan yöntemlerin, karşılaştırma ölçütlerinin ve belirsizliklerin belgelenmesini, insan ile AI’nın birlikte çalıştığı düzenin de değerlendirilmesini önerir. Aşağıdaki süre tablosu bu ihtiyaca yönelik özgün bir eğitim tasarımıdır. NIST’in zorunlu şablonu, standart bir yatırım getirisi hesabı veya önerdiği örneklem büyüklüğü değildir.Kaynak: NIST AI RMF Core — Measure

• Görev: İzinli kaynak paketinden aynı uzunluk ve kapsamda kurum içi bilgi notu hazırlamak.
• Başlangıç: Kaynak paketinin çalışana verilmesi. Bitiş: Notun önceden tanımlanmış kalite kontrolünden geçmesi veya görevin başarısız kapanması.
• Ölçüler: Hazırlık, taslak üzerinde aktif çalışma, kontrol ve düzeltme dakikaları; ayrıca bekleme süresi ve kabul durumu.
• Kapsam: Bu görev üzerinde çalışan herkesin emeği. İlk kurulum ve yöntem öğrenme süresi ayrı kayıt.

Karşılaştırmayı deneyden önce kurun

Aynı çalışan aynı dokümanı ikinci kez işlerse konuya alışmış olur. Bu öğrenme etkisini doğrudan AI kazancı saymayın. Benzer uzunlukta, benzer sayıda kaynak içeren ve benzer karar yükü taşıyan farklı görev paketleri hazırlayın. Yöntemlerin uygulanma sırasını ekip içinde değiştirin; hangi kişinin hangi görevi hangi sırayla yaptığı kayıtta kalsın. Tam eşdeğerlik sağlanamıyorsa farkları sonuç notunda açıkça belirtin.

Kalite ölçütünü sonuçları gördükten sonra değiştirmek de karşılaştırmayı bozar. Bu örnekte kabul için üç koşul var: verilen olgular doğru aktarılmalı, her karar etkileyen iddia kaynakla eşleşmeli ve belirsiz bilgi kesin sonuç gibi yazılmamalı. Bunlar eğitim örneğinin koşullarıdır. Kurumunuzun görevi başka hataları önemli kılıyorsa bunları denemeden önce ekleyin. Bir inceleyenin kararını tartışmalı durumlarda kimin gözden geçireceği de belli olsun.

Dört görevlik sentetik kayıt

Tablodaki sayılar ölçülmüş müşteri sonucu değildir. Hesap ve yorum hatalarını göstermek için oluşturulmuş varsayımlardır. Manuel toplam, o yöntemin bütün aktif çalışma adımlarını kapsar. AI sütunları da aracın yanıt süresini değil, ilgili aşamadaki insan emeğini gösterir. Gerçek pilotta manuel yöntemin aşamalarını da ayrı tutarak farkın nerede oluştuğunu inceleyin.

Manuel toplam: 30 + 35 + 25 + 50 = 140 dakika.
AI toplam: 23 + 19 + 43 + 31 = 116 dakika.
Ham emek farkı: 140 − 116 = 24 dakika.
Ham fark / manuel emek: 24 / 140 ≈ %17,1.
Ayrı ilk kurulum varsayımı: 40 dakika. Bu küçük partinin AI emeği kurulumla 156 dakika olur; manuel yönteme göre 16 dakika fazladır.
Manuel dört çıktının kabul edildiği, AI yönteminde D görevinin başarısız kapandığı varsayılmıştır. Sonuçlar eşit kaliteli teslimat değildir.

Yüzde 17,1 yalnızca bu sentetik tablonun ham emek farkıdır. Bir verimlilik vaadi veya kurumsal başarı oranı değildir. D görevi daha az dakika kullanmış görünürken kullanılabilir çıktı üretememiştir. Aynı teslimatı tamamlamak için gereken ek çalışma henüz bilinmediğinden, bu farkı net tasarruf diye raporlamak doğru olmaz. Ret edilen görevi tablodan silmek de yöntemin maliyetini görünmez kılar.

Hızın hangi bedelle geldiğini görün

Bu kayıt iki ayrı soruya işaret ediyor. Birincisi, ilk kurulum küçük bir iş hacminde farkı kapatıyor. İkincisi, kontrol ve düzeltme 74 dakika tutarak AI yönteminin büyük bölümünü oluşturuyor. Buradan kontrolün kaldırılması gerektiği sonucu çıkmaz. Kaynak paketinin açıklığı, görevin uygunluğu veya taslak talimatı incelenmelidir. D görevinin neden başarısız olduğunu anlamadan daha çok görevi aynı akışa vermek belirsizliği büyütür.

Ayrıca zaman kazanmak ile nakit gider azaltmak aynı sonuç değildir. Boşalan zaman başka bir işe ayrılabilir; fakat bu, ücret giderinin kendiliğinden azaldığını göstermez. Araç ücreti, kurulum ve bakım gideri hesaba katılacaksa gerçek verilerle ayrı değerlendirme yapın. Bu örnek fiyat veya maliyet tahmini içermiyor. Dört görevden yıllık kazanç çıkarmak için de yeterli iş hacmi ve görev dağılımı bilgisi yok.

Bağlam: Bilgi notu pilotunun devam kararına hazırlanıyorum.
Girdi: [süre tablosu], [kalite ölçütleri], [ret gerekçeleri], [kurulum süresi].
Görev: Toplamları yeniden hesapla; görev bazında emek farkını ve kalite durumunu birlikte değerlendir.
Kısıtlar: Reddedilen işleri çıkarma. Eksik tamamlanma süresini uydurma. Zaman farkını gelir veya çalışan sayısı azalması olarak yorumlama. Dört görevi kuruma genelleme.
Çıktı: Hesap kontrolü, yorumlanabilen bulgular, yorumlanamayan sonuçlar ve bir sonraki deneme önerisi.
Kontrol ölçütü: Her bulgu bir tablo hücresine veya belirtilmiş varsayıma dayanmalı; başarı iddiası kabul durumuyla çelişmemeli.

Kararı ölçülebilir bir sonraki adıma bağlayın

Bu veriyle kapsam genişletilmeyecek. D görevindeki kaynak çelişkisi ayrı incelenecek; düzeltilmiş yöntem, daha önce kullanılmamış benzer görevlerde sınanacak. Yeni denemede bütün kabul koşulları korunacak ve başarısız görevlerin tamamlanma emeği kaydedilecek. Süreç sahibi kurulum, kontrol ve düzeltme kalemlerini ayrı raporlayacak. Karar, sentetik örnekten türetilen çalışma önerisidir.

Kendi küçük göreviniz için önce boş bir tablo açın ve tek bir iş türü seçin. Ekiple ‘bitti’ sözcüğünün ne anlama geldiğini yazılı hale getirin. Ardından bir manuel görev ve benzer bir AI destekli görevde bütün aşamaları kaydedin. Bu ilk çift, genel başarı sonucuna varmak için yeterli değildir; ölçüm düzeninizin eksik bir aşamayı atlayıp atlamadığını görmek için kullanılabilir.

İyi bir pilot raporu yalnızca kazancı göstermeye çalışmaz. Hangi koşullarda kazanım oluştuğunu, hangi işlerde kaybolduğunu ve bir sonraki karar için hangi kanıtın eksik olduğunu açıklar. Bu ayrımlar korununca eğitim ihtiyacı da daha net görünür: görev tanımlama, kaynak hazırlama veya çıktı kontrolü aynı sorun değildir ve farklı uygulamalar gerektirir.