Komponen pipeline ExampleValidator mengidentifikasi anomali dalam data pelatihan dan penyajian. Itu dapat mendeteksi berbagai kelas anomali dalam data. Misalnya dapat:
- melakukan pemeriksaan validitas dengan membandingkan statistik data dengan skema yang mengkodifikasi ekspektasi pengguna.
- mendeteksi kemiringan penyajian pelatihan dengan membandingkan data pelatihan dan penyajian.
- mendeteksi pergeseran data dengan melihat serangkaian data.
- melakukan validasi kustom menggunakan konfigurasi berbasis SQL.
Komponen pipeline ExampleValidator mengidentifikasi setiap anomali dalam data contoh dengan membandingkan statistik data yang dihitung oleh komponen pipeline StatisticsGen dengan skema. Skema yang disimpulkan mengkodifikasi properti yang diharapkan dipenuhi oleh data masukan, dan dapat dimodifikasi oleh pengembang.
- Menggunakan: Skema dari komponen SchemaGen, dan statistik dari komponen StatisticsGen.
- Memancarkan: Hasil validasi
Validasi Data ExampleValidator dan TensorFlow
ExampleValidator memanfaatkan Validasi Data TensorFlow secara ekstensif untuk memvalidasi data input Anda.
Menggunakan Komponen ExampleValidator
Komponen pipeline ExampleValidator biasanya sangat mudah diterapkan dan memerlukan sedikit penyesuaian. Kode tipikal terlihat seperti ini:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
Detail selengkapnya tersedia di referensi API ExampleValidator .