Değerlendirme nedir?
Değerlendirme, bir modelin, bilgi tabanının ya da RAG kaynağının belirli görevlerdeki performansını önceden tanımlanmış veri seti ve ölçütlerle sınama sürecidir. Sonuçlar hesaplanmış metriklerle, insan puanlamasıyla ya da başka bir büyük dil modelinin yargısıyla üretilebilir. Amaç, bir sürüm değişikliğinin kaliteyi gerçekten artırıp artırmadığını tekrarlanabilir biçimde görmektir.
Üç değerlendirme yöntemi nasıl ayrılır
Otomatik değerlendirmede sistem, tanımlı görev için hesaplanmış puanlar ve metrikler üretir. Bu yöntem hızlıdır ve aynı veriyle tekrar çalıştırılabilir. Ancak ölçütün neyi yakaladığını bilmeden sonucu yorumlamak yanıltıcı olabilir.
İnsan tabanlı değerlendirmede şirket çalışanları ya da alanında uzman kişiler yanıtları belirli ölçütlere göre puanlar ve tercihlerini bildirir. Bu yöntem ton, doğruluk ve kullanışlılık gibi nüansları yakalar. Maliyeti ve zamanı daha yüksektir, bu yüzden örneklem üzerinde kullanılır.
Bir başka yaklaşım, yanıtları önceden tanımlı ölçütlerle değerlendiren bir dil modeli kullanmaktır. Bu hakem modeli yanlış puan verebilir veya üslubu gereğinden fazla önemseyebilir. Sonuçları örneklenmiş insan incelemesiyle karşılaştırın; yalnız hakemin verdiği tek toplam puana bakarak yeni sürümün daha iyi olduğunu kabul etmeyin.
Bilgi tabanı için temel veri
Bilgi tabanı ya da RAG kaynağı değerlendirmesinde veri seti, kullanıcı sorularını ve her soru için beklenen geri getirilecek metinleri ile beklenen yanıtları içermelidir. Bu referans olmadan sistemin doğru kaynağı bulup bulmadığı sınanamaz.
Veri seti gerçek kullanım dağılımını yansıtmalıdır. Yalnızca kolay sorulardan oluşan bir set, başarıyı olduğundan yüksek gösterir. Kapsam için farklı konu, uzunluk ve belirsizlik düzeyindeki sorular bir arada tutulmalıdır.
Temsili işletme örneği
Bir yazılım ekibi, müşteri destek asistanının iade politikası sorularına doğru yanıt verip vermediğini ölçmek istiyor. Ekip, gerçek destek kayıtlarından türetilmiş 120 soru ve her biri için beklenen yanıt bilgisini içeren bir veri seti hazırlıyor. Yeni model sürümünü hem otomatik ölçütlerle hem de iki uzman geliştiriciyle değerlendiriyor. Yargı modeli yanıtları puanlayıp gerekçe yazıyor; ekip gerekçelerin rastgele seçilmiş bir bölümünü insan puanlarıyla karşılaştırarak kontrol ediyor.
Değerlendirme yöntemleri
| Yöntem | Öne çıkan özellik |
|---|---|
| Otomatik hesaplama | Hızlı ve tekrarlanabilir sonuç üretir |
| İnsan puanlaması | Ton ve kullanışlılık gibi nüansları yakalar |
| Yargı modeli | Geniş ölçekte gerekçe üretir, ama önyargı riski taşır |
Sık karıştırılan nokta
Yaygın yanlış düşünce: Yargı modelinin verdiği puan tek başına kesin doğrudur. Oysa yargı modeli de hata yapabilir ve kendi tercihlerini sonuca taşıyabilir. Düzeltmesi: Yargı modeli puanlarını insan örneklemiyle düzenli olarak karşılaştırın ve gerekçelerini denetleyin.
Uygulamada dikkat edilecekler
- Her soru için beklenen yanıtı ve kabul edilebilir kaynak metnini değerlendirme öncesinde yazılı olarak sabitleyin.
- Veri setini ayar yapılan ve sürüm kararında kullanılan örnekler olarak ayırın; aynı soruları iki amaçla birden kullanmayın.
- Yargı modeli yönergesini, puan aralığını ve örnek gerekçeleri belgeleyin; sürümler arasında bu ölçütü sessizce değiştirmeyin.
- İnsan değerlendiricilere yanıtların kaynağını görmeden puanlama yaptırın ve uyuşmayan puanları üçüncü bir uzmanla netleştirin.
Sık sorulan sorular
Yargı modeli insan değerlendiriciyi tamamen değiştirebilir mi?
Tam olarak değiştiremez. Yargı modeli geniş ölçekte hızlı ön eleme sağlar, ancak yanlış yönlendirme riskini taşır. Kritik kararlar için insan örneklemi ile yargı puanlarını düzenli olarak karşılaştırmak daha güvenlidir.
Bilgi tabanı değerlendirmesi için hangi veri gerekir?
Her soru için beklenen geri getirilecek metinler ve beklenen yanıt gerekir. Bu temel veri olmadan sistemin doğru bilgiyi getirip getirmediği sınanamaz. Veri setini gerçek kullanıcı sorularını yansıtacak biçimde hazırlamak gerekir.
Teknik kaynak
Teknik tanım için birincil kaynağa başvurulmuştur. İşletme senaryosu açıklama amacıyla hazırlanmış temsili bir örnektir.
İlgili kavramlar
Kavramdan uygulamaya
İşletmenize uyarlamak için ilgili rehberleri inceleyin.
Yapay Zekâ Asistanı İçin Gerçekçi Senaryo Testleri HazırlamakYanıtlanan Mesaj İle Çözülen Talebi Ayrı ÖlçmekTüm blog rehberleri