Test veri seti Nedir?

Test veri seti, bir modelin eğitim sırasında hiç görmediği örneklerden oluşan ve yalnız son değerlendirmede kullanılan veri kümesidir. Veri genellikle eğitim, doğrulama ve test olmak üzere üç alt kümeye ayrılır. Eğitim kümesi modeli öğretir, doğrulama kümesi ayar kararlarında kullanılır, test kümesi ise sonucun dürüst ölçüsünü verir. Kaynağa göre iyi bir test kümesi yeterince büyük, veri dağılımını temsil eden ve eğitim kümesiyle tekrar içermeyen örneklerden oluşmalıdır. Eğitim kurumlarında bu, öğrenci sorularının gerçek kullanım biçimini yansıtması anlamına gelir.

Üç ayrı kümenin görevi

Eğitim kurumunda asistanın hangi soruya nasıl yanıt verdiğini ölçmek için sorular üç kümeye ayrılmalıdır. Eğitim kümesinde ders içerikleri ve örnek yanıtlar bulunur. Doğrulama kümesi, yanıt şablonu veya bilgi kaynağı seçimi gibi ayarları denerken tekrar kullanılır. Test kümesi ise yalnız kararlar tamamlandıktan sonra bir kez, son kontrol için açılır.

Kümenin aşınması ve yenilenmesi

Aynı test sorularına defalarca bakıldıkça ayarlar bu soruların kalıplarına uyum sağlar ve gerçek öğrenci soruları karşısında başarı beklenenden düşük çıkabilir. Bu nedenle her dönem veya yeni ders eklendiğinde test kümesine yeni sorular eklenmelidir. Eski sorular tamamen silinmek zorunda değildir, ancak son kararların yalnız taze örneklerle verilmesi güvenilirliği artırır. Kaynağın vurguladığı gibi bu yenileme bir sıfırlama fırsatıdır.

Tekrar ve kişisel veri temizliği

Sohbet kayıtlarından hazırlanan sorularda aynı soru birkaç kez geçebilir. Bu tekrarlar eğitim kümesinden test kümesine taşınırsa sonuç olduğundan iyi görünür. Ayrıca öğrenci adı, öğrenci numarası, telefon veya e-posta gibi kişisel bilgiler soru metninden çıkarılmalı veya maskelenmelidir. Temizlik yapılmadan test kümesi paylaşılmamalıdır. Hukuki yükümlülükler için ilgili mevzuat ve kurum hukuk birimi değerlendirmelidir.

Temsili işletme örneği

Bir çevrim içi matematik platformu, asistanının takvim ve ödev sorularına verdiği yanıtları ölçmek istiyor. Elindeki 640 kayıttan önce aynı soruyu tekrar eden 40 satır silinir, sonra 420 örnek eğitime, 90 örnek doğrulamaya, 90 örnek teste ayrılır. Test kümesindeki bir örnek şöyle görünür: Soru: Limit konusu hangi haftada işlenecek? Beklenen kaynak: Güncel ders takvimi. Öğrenci adı ve numarası metinden çıkarılmıştır. Ekip, test sorularının bir kısmının yeni dönem kayıtlarından eklenmesini planlar.

Ayrılmış kümelerin kullanım amacı

Küme	Ne zaman kullanılır
Eğitim kümesi	Modelin örneklerden öğrenmesi için
Doğrulama kümesi	Ayar kararları sırasında tekrar tekrar
Test kümesi	Kararlar bittikten sonra tek son ölçüm

Sık karıştırılan nokta

Yaygın yanlış düşünce, test kümesi bir kez kullanıldığında sonsuza kadar güvenilir kalır şeklindedir. Oysa defalarca kullanılan test ve doğrulama kümeleri zamanla aşınır. Ayrıca rastgele karıştırma yapıldığı için tekrar eden soruların kendiliğinden ayrılacağı varsayımı yanlıştır; tekrarlar önceden ayıklanmalıdır.

Uygulamada dikkat edilecekler

Eğitim, doğrulama ve test kümelerini ayırmadan önce aynı veya çok benzer soruları kayıt bazında tespit edip temizleyin.
Test kümesindeki her soru için beklenen kaynağı ve kabul edilebilir yanıt sınırını yazılı olarak tanımlayın.
Her yeni dönem başında test kümesinin bir bölümünü yenileyin ve eski sonuçlarla karşılaştırmayı not edin.
Kişisel bilgi içeren alanları kaydetmeden önce çıkarın veya maskeleyin, temizlik listesini ekipçe kontrol edin.

Sık sorulan sorular

Test kümesi için en az kaç örnek gerekir?

Kaynak kesin bir sayı vermez; kümenin istatistiksel olarak anlamlı sonuç üretecek kadar büyük olması gerekir. Yüzde 15 oranı yeterli olabilir, olmayabilir de; kurumunuzda deneyerek karar verin.

Test sonucu iyi görünse de model gerçek kullanımda neden kötü çalışır?

Test kümesi gerçek öğrenci sorularını tam yansıtmıyor olabilir. Önce veri ile gerçek kullanım arasındaki farkı belirleyin, gerekirse yeni veriyle yeniden eğitim ve test yapın. Aynı testi tekrarlamak tek başına çözüm değildir.

Teknik kaynak

developers.google.com · Test veri seti

Teknik tanım için birincil kaynağa başvurulmuştur. İşletme senaryosu açıklama amacıyla hazırlanmış temsili bir örnektir.

İlgili kavramlar

Değerlendirme İnce ayar Veri kalitesi Sürüm kontrolü Eğitim ve test sızıntısı

Kavramdan uygulamaya

İşletmenize uyarlamak için ilgili rehberleri inceleyin.

Yapay Zekâ Asistanı İçin Gerçekçi Senaryo Testleri Hazırlamak Yanıtlanan Mesaj İle Çözülen Talebi Ayrı Ölçmek Tüm blog rehberleri