SampleValidator işlem hattı bileşeni, eğitim ve veri sunumundaki anormallikleri tanımlar. Verilerdeki farklı anormallik sınıflarını tespit edebilir. Örneğin şunları yapabilir:
- Veri istatistiklerini kullanıcının beklentilerini kodlayan bir şemayla karşılaştırarak geçerlilik kontrolleri yapın.
- Eğitim ve sunum verilerini karşılaştırarak eğitim-sunum çarpıklığını tespit edin.
- Bir dizi veriye bakarak veri kaymasını tespit edin.
- SQL tabanlı bir yapılandırma kullanarak özel doğrulamalar gerçekleştirin.
SampleValidator ardışık düzen bileşeni, İstatistikGen ardışık düzen bileşeni tarafından hesaplanan veri istatistiklerini bir şemayla karşılaştırarak örnek verilerdeki tüm anormallikleri tanımlar. Çıkarılan şema, giriş verilerinin karşılaması beklenen özellikleri kodlar ve geliştirici tarafından değiştirilebilir.
- Tüketim: Bir SchemaGen bileşeninden bir şema ve bir İstatistikGen bileşeninden istatistikler.
- Yayılanlar: Doğrulama sonuçları
SampleValidator ve TensorFlow Veri Doğrulaması
SampleValidator, giriş verilerinizi doğrulamak için TensorFlow Veri Doğrulama'yı kapsamlı bir şekilde kullanır.
SampleValidator Bileşenini Kullanma
Bir SampleValidator işlem hattı bileşeninin dağıtımı genellikle çok kolaydır ve çok az özelleştirme gerektirir. Tipik kod şuna benzer:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
Daha fazla ayrıntıyı SampleValidator API referansında bulabilirsiniz.