İnsan denetimi nedir?
İnsan denetimi, otomatik sistemin kararlarında veya eylemlerinde insanın belirli noktalarda söz sahibi olmasını sağlayan tasarım yaklaşımıdır. Anthropic'in ajan mimarisi üzerine yazısında, ajanların genellikle insan talimatıyla başlayıp bağımsız çalıştığı, ancak kontrol noktalarında veya engelle karşılaştıklarında insan geri bildirimi istediği anlatılır. Ayrıca maksimum yineleme sayısı gibi durma koşulları, kontrolü korumak için önerilir. Kavram; işlem öncesi onay, örnekleme ve eskalasyon olmak üzere farklı biçimlerde uygulanabilir.
Onay ile eskalasyonu ayırmak
İşlem öncesi onayda ajan belirli türdeki her eylemi uygulamadan önce insanın kararını bekler. Eskalasyonda ise ajan belirsizlik, engel veya sınır aşımıyla karşılaştığında işi bir insana devreder. Örneğin iptal ücreti değişikliği onay, rezervasyon sorgusundaki belirsizlik ise eskalasyon gerektirebilir. Ayrım yazıya dökülmezse ekip her adımda müdahale etmek ya da hiç müdahale etmemek arasında kalır.
Örnekleme ile sürekli denetim
Örnekleme, ajanın tamamladığı işlerin rastgele seçilen bir kısmını insanın sonradan incelemesidir. Her işlemi onaylamak verimi düşürürken hiç bakmamak hataların birikmesine yol açar. Ekip örneklem büyüklüğünü ve öncelikli kategorileri belirleyebilir. Anthropic yazısı, otomatik testlerin işlevi doğrularken insan incelemesinin sistem gereksinimleriyle uyumu için hâlâ önemli olduğunu belirtir.
Karar yetkisi ve sınırlar
Karar yetkisi, hangi kararın ajana, hangisinin insana ait olduğunu tanımlar. Kaynak, ajanların uzun süre bağımsız çalışabildiğini ve bu özerkliğin maliyet ve birikmeli hata riskini artırdığını vurgular. Bu nedenle durma koşulları ve ortam geri bildirimlerinin izlenmesi denetimin parçası olmalıdır. Ajanın planını insana görünür kılan kontrol noktaları, denetimi anlamlı hale getirir.
Temsili işletme örneği
Orta ölçekli bir seyahat acentesi, müşteri talebine göre uçuş ve otel önerisi hazırlayan bir yapay zeka ajanı kullanıyor. Ajan, ödeme öncesi bilet fiyat farkı onayını insana bırakıyor ve aynı gün yapılan rezervasyonların rastgele seçilen bir kısmını ekip inceliyor. Bir gün ajan, müşterinin yazdığı tarihi iki farklı biçimde yorumlayınca belirsizlik eşiğini aşıp işi eskalasyon kuyruğuna gönderiyor. Personel tarihi doğrulayıp işlemi tamamlıyor ve ajanın eşik kuralını güncelliyor.
Denetim türlerinin karşılaştırması
| Denetim türü | Ne zaman kullanılır |
|---|---|
| İşlem öncesi onay | Geri döndürülemeyen veya yetki gerektiren eylemler |
| Örnekleme | Düşük riskli ve yüksek hacimli işler |
| Eskalasyon | Belirsizlik veya engel durumları |
Sık karıştırılan nokta
Yaygın yanılgı, insan denetiminin her adımda insan onayı anlamına geldiği düşüncesidir. Bu yaklaşım ajanın faydasını ortadan kaldırır ve ekibi onay yorgunluğuna sokar. Doğrusu denetimin türünü risk düzeyine göre seçmektir. Düşük riskli işleri örneklemek, yüksek riskli veya belirsiz işleri ise onaya ya da eskalasyona bağlamak gerekir.
Uygulamada dikkat edilecekler
- Her ajan eyleminin finansal ve müşteri etkisini değerlendirin; ödeme, iptal ve kişisel veri içeren işlemleri yüksek riskli olarak ayırın.
- Onay gerektiren işlemler için hangi kişinin yetkili olduğunu ve beklenen yanıt süresini yazılı hale getirin.
- Eskalasyon kurallarını sayısal eşiklerle tanımlayın, örneğin üç başarısız denemeden sonra işi insana devredin.
- Haftalık olarak örneklenmiş işlemleri inceleyin ve hata nedenlerini kural ve araç açıklamalarına geri bildirin.
Sık sorulan sorular
İnsan denetimi her ajan adımında zorunlu mu?
Hayır. Kaynak, ajanların belirli kontrol noktalarında veya engellerde insan geri bildirimi istediğini belirtir. Her adımda onay istemek verimi düşürür; denetimin türünü ve sıklığını işin riskine göre seçmek daha sağlıklıdır.
Örnekleme hataları yakalar mı?
Örnekleme hataların tamamını yakalamaz; yalnızca bir kontrol sağlar. Bu nedenle yüksek riskli işlemler için örnekleme yerine onay veya eskalasyon tercih edilmelidir. Örneklem sonuçlarını kayıt altına alıp düzenli inceleme yapmak öğrenmeyi destekler.
Teknik kaynak
www.anthropic.com · İnsan denetimi
Teknik tanım için birincil kaynağa başvurulmuştur. İşletme senaryosu açıklama amacıyla hazırlanmış temsili bir örnektir.
İlgili kavramlar
Kavramdan uygulamaya
İşletmenize uyarlamak için ilgili rehberleri inceleyin.
Chatbot Entegrasyonunda Bilgi Okuma ve İşlem YetkisiBağlı Sistem Yanıt Vermediğinde Müşteriye Ne Söylenmeli?Tüm blog rehberleri