Kesinlik ve duyarlılık nedir?
Kesinlik ve duyarlılık, sınıflandırma modellerinde kullanılan iki ölçüttür. Doğru pozitif (TP), yanlış pozitif (FP) ve yanlış negatif (FN) sayılarından hesaplanır. Kesinlik, TP/(TP+FP) ile pozitif kararların ne kadarının gerçekten pozitif olduğunu gösterir. Duyarlılık, yani geri çağırma, TP/(TP+FN) ile gerçek pozitiflerin ne kadarının yakalandığını ölçer. Her ikisi de tek bir eşik değerinde hesaplanır ve eşik değişince değişir. Bu nedenle ölçüt seçimi, yanlış alarmın ve kaçırmanın maliyetine bağlıdır.
Eşik değerinin iki ölçüte etkisi
Kesinlik sorusu şudur: Modelin pozitif dediği kayıtların kaçı gerçekten pozitif? Duyarlılık sorusu ise: Gerçekten pozitif olan kayıtların kaçı yakalandı? Eşik yükseltildiğinde FP azalır, FN artar; eşik düşürüldüğünde tersi olur. Bu yüzden iki ölçüt çoğu zaman ters yönde hareket eder ve tek bir sayıyla değerlendirme yanıltıcı olabilir.
Dengesiz veride doğruluk neden yetmez
Destek taleplerinde acil talepler genellikle küçük bir azınlıktır. Model her talebi normal sayarsa doğruluk yüksek görünebilir, ama hiçbir acil talep yakalanmaz. Bu durumda duyarlılık sıfıra yakın çıkar ve sorun doğruluk ölçüsünde görünmez. Azınlık sınıfı için TP ve FN sayılarını ayrı izlemek, genel doğruluk oranına bakmaktan daha bilgilendiricidir.
Arama ile yanıt doğruluğunun ayrımı
Anlamsal arama, sorguya benzer belgeleri bulma kalitesini ölçer; kesinlik ve duyarlılık burada sıralanmış sonuç listesinin doğruluğuna bakar. Yanıt doğruluğu ise üretilen cevabın kaynağa uygun ve eksiksiz olup olmadığını ayrı bir değerlendirmeyle sınar. Arama sonucu iyi olsa bile yanıt yanlış olabilir, bu yüzden iki ölçümü karıştırmamak gerekir.
Temsili işletme örneği
Temsili bir B2B yazılım şirketinde, destek sistemine gelen 200 talepten 20 tanesi gerçekten acil olsun. Model, acil işaretlediği 25 talepten 15'ini gerçekten acil bulur; 10'u normal taleptir. Böylece TP=15, FP=10, FN=5 ve TN=170 olur. Kesinlik 15/25 = 0,60 çıkar: işaretlenen her 10 talepten 6'sı gerçekten acildir. Duyarlılık 15/20 = 0,75 çıkar: acil taleplerin dörtte üçü yakalanmıştır. Doğruluk ise 185/200 = 0,925 olur ve tek başına bu sayıya bakan ekip durumu fazla iyi görebilir.
Kesinlik ile duyarlılık arasındaki fark
| Kesinlik | Duyarlılık |
|---|---|
| Soru: Pozitif kararlar ne kadar doğru? | Soru: Gerçek pozitifler ne kadar yakalandı? |
| Formül: TP/(TP+FP) | Formül: TP/(TP+FN) |
| Önemli olduğu durum: Yanlış alarmın maliyetli olduğu işler | Önemli olduğu durum: Kaçırmanın maliyetli olduğu işler |
Sık karıştırılan nokta
Yaygın yanlış düşünce: Doğruluk yüksekse model acil talepleri iyi yakalıyordur. Düzeltmesi: Doğruluk, az görülen sınıfın kaçırıldığını gizleyebilir. Acil sınıf için duyarlılık ve kesinlik ayrıca hesaplanmalı, FN sayısı iş sonucuna göre yorumlanmalıdır.
Uygulamada dikkat edilecekler
- Önce hangi hatanın daha pahalı olduğunu yazılı olarak belirleyin; kaçırılan acil talep mi, yanlış acil alarmı mı?
- Test kümesinde gerçek acil talep sayısını ayrıca raporlayın; sayı çok düşükse kesinlik ve duyarlılık kararlı yorumlanamaz.
- Eşik değerini değiştirdiğinizde TP, FP, FN ve TN sayılarını aynı tabloda karşılaştırın, tek bir ortalama oranla karar vermeyin.
- NaN görürseniz paydanın sıfır olduğunu not edin; hiç pozitif tahmin yapmayan modeli mükemmel saymadan önce yeniden inceleyin.
Sık sorulan sorular
Acil talep sınıflandırmasında hangi ölçüt öncelikli olmalı?
Kaçırılan acil talebin maliyeti yüksekse duyarlılık öncelikli olmalıdır. Yanlış alarmlar ekip zamanını çok harcıyorsa kesinlik de izlenmelidir. Kabul edilebilir doğruluk düzeyinin üstünde bu iki ölçütten dengeli bir seçim yapılır.
Arama sonuçları iyiyse yanıt da doğru sayılır mı?
Hayır. Arama kesinliği ve duyarlılığı, doğru belgenin sonuç listesine girip girmediğini ölçer. Yanıtın kaynağa uygun ve eksiksiz olup olmadığı ayrıca değerlendirilmelidir. İki ölçümü tek skor gibi göstermek yanıltıcı olur.
Teknik kaynak
developers.google.com · Kesinlik ve duyarlılık
Teknik tanım için birincil kaynağa başvurulmuştur. İşletme senaryosu açıklama amacıyla hazırlanmış temsili bir örnektir.
İlgili kavramlar
Kavramdan uygulamaya
İşletmenize uyarlamak için ilgili rehberleri inceleyin.
Yapay Zekâ Asistanı İçin Gerçekçi Senaryo Testleri HazırlamakYanıtlanan Mesaj İle Çözülen Talebi Ayrı ÖlçmekTüm blog rehberleri