Veri kalitesi nedir?
Veri kalitesi, bir veri kümesinin amaçlanan kullanım için ne ölçüde uygun olduğunu tanımlayan kavramdır. Tamlık, doğruluk ve tutarlılık birbirinden ayrı boyutlardır. Tamlık eksik değerle, doğruluk gerçeğe uygunlukla, tutarlılık ise farklı kayıtlar ve sistemler arasındaki uyumla ilgilidir. Bir alanın veri tipine uyması, değerin gerçekte doğru olduğu anlamına gelmez.
Üç boyutu birbirinden ayırmak
Tamlık, bir alanın beklenen kayıtlarda dolu olup olmadığına bakar. Doğruluk, dolu değerin gerçek dünyadaki karşılığına uyup uymadığını sorar. Tutarlılık ise aynı bilginin farklı tablolarda veya kaynaklarda aynı biçimde durup durmadığını inceler. Bu üç soru farklı kontrol gerektirir ve birinin geçmesi diğerlerini garanti etmez.
Şema kontrolünün sınırı
Bir sütunun sayısal tipte olması, değerin doğru olduğunu göstermez. Örneğin bir üretim hattındaki sıcaklık alanına 9999 yazılması tip açısından geçerli olabilir. Bu nedenle tip, aralık, zorunluluk ve ilişki kurallarını ayrı ayrı tanımlamak gerekir. Şema kontrolü ilk savunma hattıdır, son doğrulama değildir.
Kural tabanlı ve istatistiksel kontroller
Kural tabanlı kontroller, bilinen iş kurallarını açıkça yazar: değer aralığı, boş olmama koşulu veya iki sütun arasındaki sıralama. İstatistiksel kontroller ise ortalama, dağılım veya ani sapma gibi ölçülere bakar. Üretim verisinde ikisi birlikte kullanıldığında, bilinmeyen hataların yakalanma olasılığı artar, ancak hiçbir kontrol setinin tüm hataları yakaladığı garanti edilemez.
Temsili işletme örneği
Temsili bir üretim işletmesinde ürün kataloğu kod, ölçü birimi ve ambalaj içi adet alanları içerir. Ürün kodu boşsa tamlık sorunu vardır. Ambalaj adedi sayısal olsa bile onaylı föyden farklıysa değer yanlıştır. Aynı ürün iki tabloda farklı birimle tanımlanmışsa dönüşüm veya tutarlılık kontrolü gerekir. Ekip bu kontrolleri ayrı kaydeder. Asistanın kaynaktan okuduğu yanıt, yanlış katalog satırını doğru hale getirmez. Şüpheli kayıt geçici olarak kullanım dışına alınır ve kaynak sorumlusunun kontrolüne sunulur; onay gelmeden ürün özelliği müşteriye kesin bilgi olarak aktarılmaz.
Tamlık, doğruluk ve tutarlılık farkı
| Boyut | Sorulan soru |
|---|---|
| Tamlık | Gerekli alan dolu mu? |
| Doğruluk | Değer gerçeğe uygun mu? |
| Tutarlılık | Kayıtlar ve sistemler uyumlu mu? |
Sık karıştırılan nokta
Veri tipi doğrudur, o halde veri doğrudur yaygın bir yanılgıdır. Tip kontrolü yalnız biçimi denetler. Bir alanın sayı olması, o sayının ölçüm hatasından arınmış olduğunu göstermez. Doğruluk için değerin gerçek kaynakla karşılaştırılması veya iş kurallarıyla sınanması gerekir.
Uygulamada dikkat edilecekler
- Her kritik sütun için boş olabilir mi sorusunu iş sahibiyle birlikte yanıtlayın ve kuralı yazılı tutun.
- Sayısal ölçümler için beklenen alt ve üst sınırları üretim mühendisiyle belirleyin.
- Aynı parti veya ürün kodunun geçtiği tüm tablolarda değerlerin eşleşip eşleşmediğini haftalık kontrol edin.
- Kural ihlali olan kayıtları silmek yerine ayrı bir karantina tablosuna alıp kaynağında düzeltin.
Sık sorulan sorular
Boş alan ile yanlış değer nasıl ayrılır?
Boş alan veri eksikliğidir ve tamlık kontrolüyle görülür. Yanlış değer ise dolu olmasına rağmen gerçeğe uymayan bir bilgidir. Boş alan, değerin hiç girilmediğini; yanlış değer ise girilenin hatalı olduğunu gösterir. Düzeltme yöntemleri de farklıdır.
Veri kalitesi kontrolleri hangi aşamada yapılmalı?
Kontroller veri girişinde, dönüşüm sırasında ve raporlama öncesinde yapılabilir. Hatanın kaynağına en yakın aşamada yakalamak düzeltme maliyetini genellikle düşürür. Ancak her aşamadaki kuralların iş sahibiyle birlikte yazılması ve düzenli gözden geçirilmesi gerekir.
Teknik kaynak
docs.aws.amazon.com · Veri kalitesi
Teknik tanım için birincil kaynağa başvurulmuştur. İşletme senaryosu açıklama amacıyla hazırlanmış temsili bir örnektir.
İlgili kavramlar
Kavramdan uygulamaya
İşletmenize uyarlamak için ilgili rehberleri inceleyin.
Üretim İşletmelerinde Teknik Katalog Sorularını Doğru Kaynağa BağlamakB2B Ürün Sorularında Kod Ve Ölçü Birimi Belirsizliğini GidermekTüm blog rehberleri