El componente de canalización TFX de exampleValidator

El componente de canalización EjemploValidator identifica anomalías en el entrenamiento y el suministro de datos. Puede detectar diferentes clases de anomalías en los datos. Por ejemplo puede:

1. realizar comprobaciones de validez comparando estadísticas de datos con un esquema que codifica las expectativas del usuario.
2. detectar el sesgo en el servicio de capacitación comparando los datos de entrenamiento y servicio.
3. detectar la desviación de datos observando una serie de datos.
4. realizar validaciones personalizadas utilizando una configuración basada en SQL.

El componente de canalización EjemploValidator identifica cualquier anomalía en los datos de ejemplo comparando las estadísticas de datos calculadas por el componente de canalización StatisticsGen con un esquema. El esquema inferido codifica propiedades que se espera que satisfagan los datos de entrada y que el desarrollador puede modificar.

• Consume: un esquema de un componente SchemaGen y estadísticas de un componente StatisticsGen.
• Emite: Resultados de validación

Ejemplo de validación de datos de Validador y TensorFlow

ExampleValidator hace un uso extensivo de TensorFlow Data Validation para validar sus datos de entrada.

Uso del componente Validador de ejemplo

Un componente de canalización de EjemploValidator suele ser muy fácil de implementar y requiere poca personalización. El código típico se ve así:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

Hay más detalles disponibles en la referencia de la API de ExampleValidator .