Yapay zekâ deşifresinde doğru cümle yanlış kişiye yazılırsa.

Cümlede adı geçen kişi konuşan kişi olmayabilir

Kısa bir çalışma görüşmesinin dökümünde bütün cümleler anlaşılır görünüyor. Son cümlede Ece’nin adı geçiyor; yapay zekâ o bölümü Ece’ye yazıyor. Oysa cümleyi Mert söylemiş olabilir. Sözcüklerin doğru aktarılması, konuşmacı atfının da doğru olduğu anlamına gelmez. Özette kimin ne söylediğini kullanacaksanız bu iki doğruluk türünü ayrı ayrı denetlemeniz gerekir.

Konuşmacı ayrıştırması, ses kaydında farklı sesleri ve konuşmacı değişimlerini etiketlemeyi amaçlar. Google Cloud’un açıklaması bu işlevi numaralı ses etiketleriyle anlatır. S1 gibi bir etiket, tek başına kişinin gerçek adı değildir. Adlandırma için kaydın içinde veya izinli doğrulama bilgisinde ayrıca dayanak bulunmalıdır. Aşağıdaki eşleştirme bu teknik ayrım üzerine kurulmuş özgün bir eğitim tasarımıdır.Kaynak: Google Cloud — Detect different speakers in an audio recording

Burada ses dosyası, gerçek görüşme veya çalıştırılmış bir deşifre aracı yoktur. Zaman aralıkları, ses etiketleri ve cümleler eğitim için hazırlanmıştır. Bu nedenle ses kalitesi ya da bir ürünün konuşmacı tanıma başarısı ölçülmüş sayılmaz. Amaç, verilen kayıt bilgisiyle neyin kişiye atanabileceğini ve hangi aralığın açık kalması gerektiğini uygulamalı olarak görmektir.

Beş parçanın dayanaklarını koruyun

İlk iki parçada kişiler kendilerini tanıtıyor. Bu alıştırmada Ses 1 ve Ses 2 etiketlerinin açık parçalarda tutarlı olduğu verilmiştir; Ses 1 için Ece, Ses 2 için Mert eşleştirmesi kullanılabilir. Bu, gerçek kimlik doğrulaması veya biyometrik tanıma iddiası değildir. Gerçek kayıtta etiketin değişmiş olabileceği bir bölüm varsa aynı eşleştirme otomatik taşınmamalıdır.

S05’te Ece adı geçmesine rağmen kayıt etiketi Ses 2’dir. Söyleyen Mert, hakkında konuşulan kişi ise Ece’dir. Bir özette “Ece kendi kontrolünün bittiğini söyledi” yazmak iki farklı alanı birleştirir. Atıf tablosunda konuşan kişiyle cümlede anılan kişiyi ayrı sütunlarda tutmak bu hatayı görünür hale getirir.

S04’teki belirsizlik yalnızca kişinin adıyla ilgili değildir. “Onu” sözcüğünün hangi işi işaret ettiği de açıkça yazılmamıştır. Yakındaki iki eksik hücreyi kastediyor olması makul görünebilir, ama bu tahmin kesin görev kaydına dönüştürülmemelidir. Bu kısa parça için hem konuşmacı hem de işin kapsamı ayrıca netleştirilmelidir.

Eksik atfı akıcı bir özetle kapatmayın

Mert kapak taslağını hazırladı. Ece eksik iki hücreyi tamamlamayı üstlendi. Ece kendi tablo kontrolünün bittiğini söyledi.

Hatalı özetin ilk cümlesi S01 ile çelişir. İkinci cümle S04’ün açık olmayan bilgisini kesinleştirir. Üçüncü cümle ise S05’te adı geçen kişiyle konuşanı karıştırır. Üç hata da metni daha akıcı yaparak çözülemez; her cümleyi zaman aralığına geri götürmek gerekir. Düzeltme kaydında hangi kaynak parçasının kullanıldığını belirtin.

S01–S05 sentetik kayıt kartlarını kullan. Etiket, kendini tanıtma, cümlede adı geçen kişi ve iddia edilen işi ayrı incele. Ses 1/2 eşleştirmesini yalnızca verilen açık parçalarda kullan. S04 için kişi veya görev kapsamı tahmin etme. Çıktı: parça bazlı atıf tablosu, düzeltilmiş kısa özet ve tekrar kontrol edilecek zaman aralığı. Ses dinlediğini, gerçek kimlik doğruladığını veya söylenen işin fiilen bittiğini iddia etme.

Ece kapak taslağını hazırladığını söyledi; son satırdaki iki eksik hücreye dikkat çekti. Mert tabloyu kontrol ettiğini belirtti ve daha sonra kendi kontrolünün bittiğini söyledi. 00:12–00:14 aralığında bir tamamlama teklifi var; konuşan kişi ve teklifin tam kapsamı bu kartlardan kesinleştirilemiyor.

Bu özet konuşanların ifadelerini aktarır; kapağın veya kontrolün gerçekten tamamlandığını bağımsız olarak doğrulamaz. İletişim kaydıyla iş teslim kanıtı farklı belgelerdir. Gerçek çalışma takibinde tamamlanma kararınız dosyaya veya onaya bağlıysa bu kanıtı ayrıca arayın. Deşifrede söyleneni doğru kişiye bağlamak, sonraki iş kontrolünün yerine geçmez.

Belirsiz aralık için hedefli bir kontrol bırakın

Gerçek ses kaydı bulunan bir çalışmada yalnızca sorunlu kelimeyi değil, konuşmacı değişiminin önünü ve arkasını da dinleyin. Aralığı daraltmak işinizi kolaylaştırır; bağlamı tamamen kesmek ise atfı zorlaştırabilir. S04 için kayıt sahibiyle netleştirme gerekirse “Bu cümleyi kim söyledi ve hangi işi kastetti?” şeklinde iki ayrı bilgi isteyin.

Düzeltme yapıldığında eski etiketi sessizce silmeyin. Kayıt kimliği, eski atıf, yeni atıf, kullanılan kanıt ve kontrol eden kişinin notu birlikte saklanabilir. Bu özellikle aynı ses numarasının başka dosyalarda başka kişiye ait olabileceği durumlarda işe yarar. Bir kayıttaki Ses 1 eşleştirmesini bütün görüşmeler için genel bir kişi kimliği gibi kullanmayın.

Küçük alıştırma: Ek inceleme kartı S04’ün Ses 2 olduğunu doğrulasın, fakat “onu” ifadesini açıklamasın. Konuşan Mert olarak güncellenebilir; hangi işi tamamlamayı teklif ettiği hâlâ açık kalır. Yalnızca bir belirsizliğin çözülmesi bütün satırın kesin görev kaydına dönüştürülebileceği anlamına gelmez. Özetin ilgili cümlesine çözülen ve çözülmeyen bilgiyi ayrı taşıyın.

Teslim edilebilir çalışma, akıcı özetin yanında kaynak aralıklarını ve kalan soruyu içerir. Beş parçanın dördünde verilen etiketlerle atıf kurulurken bir parçanın açık bırakılması başarısız düzenleme değildir. Verinin izin verdiği sınırı koruyan bu kayıt, sonraki kişinin yeniden dinleme veya netleştirme işine doğrudan başlamasını sağlar.