Komponen pipeline ContohValidator mengidentifikasi anomali dalam pelatihan dan penyajian data. Itu dapat mendeteksi berbagai kelas anomali dalam data. Misalnya dapat:
- melakukan pemeriksaan validitas dengan membandingkan statistik data dengan skema yang mengkodifikasi harapan pengguna.
- mendeteksi kemiringan penyajian pelatihan dengan membandingkan data pelatihan dan penyajian.
- mendeteksi penyimpangan data dengan melihat serangkaian data.
- melakukan validasi khusus menggunakan konfigurasi berbasis SQL.
Komponen alur ContohValidator mengidentifikasi anomali apa pun dalam data contoh dengan membandingkan statistik data yang dihitung oleh komponen alur StatisticsGen terhadap skema. Skema yang disimpulkan mengkodifikasi properti yang diharapkan dapat dipenuhi oleh data masukan, dan dapat dimodifikasi oleh pengembang.
- Menggunakan: Skema dari komponen SchemaGen, dan statistik dari komponen StatisticsGen.
- Memancarkan : Hasil validasi
Validasi Data ContohValidator dan TensorFlow
ContohValidator memanfaatkan Validasi Data TensorFlow secara ekstensif untuk memvalidasi data masukan Anda.
Menggunakan Komponen ContohValidator
Komponen pipeline ContohValidator biasanya sangat mudah diterapkan dan memerlukan sedikit penyesuaian. Kode tipikal terlihat seperti ini:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
Detail lebih lanjut tersedia di referensi API ContohValidator .