Olasılık kalibrasyonu nedir?
Bir sınıflandırıcı her tahmin için bir olasılık üretir. Olasılık kalibrasyonu, bu değerlerin gerçek dünyadaki karşılığını sınar: örneğin 0,7 olarak işaretlenen tahminlerin ortalama yüzde kaçı gerçekten hedef sınıfa girdi? Puan aralıkları ayrı ayrı incelenir ve tahmin edilen ile gözlenen oran karşılaştırılır. Bu uyum sağlanmadan puanlar, kullanıcıya gösterilecek ya da eşik olarak kullanılacak bir güven ölçüsü gibi okunamaz. Kalibrasyon, ayırt etme başarısından farklı bir özelliktir.
Seçim öncesi ne sorulmalı
Kalibrasyon kararı, puanın nerede kullanılacağına bağlıdır. Puan yalnızca sıralama için kullanılıyorsa, örneğin en olası kategoriler önce gösterilecekse, kalibrasyonun etkisi daha sınırlıdır. Ancak puan bir işlemi otomatik onaylayacaksa ya da bir ekibe öncelik etiketi verecekse, her puan aralığındaki gerçek sonucun bilinmesi gerekir. Bu nedenle ilk soru şudur: Bu puan hangi eşikte hangi işi tetikleyecek?
İkinci soru, elde yeterli ve güncel doğrulama verisi bulunup bulunmadığıdır. Eğitim verisinin çok yakınından alınmış örnekler canlı kullanımı temsil etmeyebilir. Dönem değiştiğinde müşteri dili, ürün listesi ve kampanya yapısı da değişir. Bu yüzden kalibrasyon ölçümü bir kez yapılıp unutulan bir kontrol değil, periyodik olarak tekrarlanması gereken bir kayıttır.
Başarısız durumların ayırt edilmesi
En sık görülen başarısızlık, genel ortalamanın iyi görünmesi ama uç aralıklardaki sapmanın gizlenmesidir. Ortalama hata düşük çıkabilir; buna karşın 0,9 üzeri bir aralıkta gerçek oran belirgin biçimde düşük olabilir. Yüksek maliyetli kararlarda bu uç aralıklar daha fazla önem taşır.
Bir diğer başarısızlık, kalibratörün ve sınıflandırıcının aynı veriyle eğitilmesidir. Bu durumda ölçüm, modelin kendi ezberini onaylayabilir. Ayrı bir değerlendirme kümesi tutulmadığında iyi görünen sonuç, canlı trafikte beklenmedik sapmalar üretebilir. Karar sürecinde bu ayrımın yazılı olup olmadığına bakmak gerekir.
Temsili işletme örneği
Temsili bir lojistik firması, her gönderi için teslim gecikme riski puanı üreten bir sistem kullanıyor. Test kayıtlarında 0,9 civarı puan alan 200 gönderiden 150'si gecikmiş çıkıyor; gözlenen oran 0,75. Bu tabloya göre ekip, yüksek risk eşiğini yeniden ayarlamayı ve bu aralığı ayrı bir kontrol listesine almayı değerlendirebilir. Sayılar temsilidir; gerçek bir firmanın sonucu değildir.
Sigmoid ve izotonik yaklaşım
| Ölçüt | Sigmoid | İzotonik |
|---|---|---|
| Veri ihtiyacı | Az veriyle daha kararlı sonuç verebilir | Daha fazla veriye ihtiyaç duyar |
| Sıralama etkisi | Sıralamayı koruma eğilimi taşır | Eşit puanlar üretebilir, sıralamayı değiştirebilir |
| Esneklik ve risk | Daha az esnektir, aşırı uyum riski düşüktür | Daha esnektir, küçük veride aşırı uyum riski vardır |
Sık karıştırılan nokta
Puanın 0,9 olması, benzer durumların yaklaşık yüzde 90'ının doğru çıkacağı anlamına gelmez. Doğrusu, aynı puan aralığındaki geçmiş kayıtların gerçek sonuç oranını ölçüp puanla karşılaştırmaktır. Ayrıca geçmiş veride uyumlu görünen bir oran, dönem değiştiğinde aynı kalmayabilir.
Uygulamada dikkat edilecekler
- Doğrulama kayıtlarını puan aralıklarına bölün ve her aralıkta örnek sayısı ile gerçek hedef oranını yan yana tablolayın.
- Örnek sayısı belirlediğiniz alt sınırın altında kalan aralıkları 'yetersiz veri' olarak işaretleyin ve bu aralıklarda otomatik karar vermeyin.
- Kalibratörü, sınıflandırıcının eğitiminde kullanılmayan ayrı bir kümede eğitin ve farklı bir test kümesinde yeniden sınayın.
- Kalibrasyon değişikliğinden sonra sınıf sıralamasını ve eşik kararlarının sonucunu eski sürümle karşılaştırın.
Sık sorulan sorular
Kalibrasyon sonrası eşik değerini hemen değiştirmeli miyim?
Hayır. Önce yeni eşiğin ayrı bir doğrulama kümesinde gerçek sonuç oranlarıyla uyumunu ve yetersiz örnekli aralıkların etkisini görmek gerekir. Değişiklik, karar sahibinin onayıyla ve izlenebilir bir kayıtla yapılmalıdır.
Kaç puan aralığı kullanılmalı?
Sabit bir sayı yoktur. Aralık sayısı, her aralıkta yeterli örnek kalacak kadar az, kalibrasyon farkını görebilecek kadar çok olmalıdır. Her aralığın örnek sayısını raporlamak bu dengeyi kontrol etmenin en pratik yoludur.
Teknik kaynak
scikit-learn.org · Olasılık kalibrasyonu
Teknik tanım için birincil kaynağa başvurulmuştur. İşletme senaryosu açıklama amacıyla hazırlanmış temsili bir örnektir.
İlgili kavramlar
Kavramdan uygulamaya
İşletmenize uyarlamak için ilgili rehberleri inceleyin.
Yanıt Sayısı Mı, Çözülen Talep Mi? Ölçüm Kapsamını SeçmekAsistan Testinde Kapsam Kararı: Hangi Senaryolar Önce Gelmeli?Tüm blog rehberleri