Thành phần đường ống ExampleValidator TFX

Thành phần đường ống ExampleValidator xác định các điểm bất thường trong đào tạo và cung cấp dữ liệu. Nó có thể phát hiện các lớp bất thường khác nhau trong dữ liệu. Ví dụ, nó có thể:

  1. thực hiện kiểm tra tính hợp lệ bằng cách so sánh thống kê dữ liệu với một lược đồ hệ thống hóa các kỳ vọng của người dùng
  2. phát hiện sai lệch phục vụ đào tạo bằng cách so sánh dữ liệu đào tạo và phục vụ.
  3. phát hiện sự trôi dạt dữ liệu bằng cách xem xét một loạt dữ liệu.

Thành phần đường ống ExampleValidator xác định bất kỳ điểm bất thường nào trong dữ liệu ví dụ bằng cách so sánh thống kê dữ liệu do thành phần đường ống StatisticsGen tính toán với một lược đồ. Lược đồ được suy ra hệ thống hóa các thuộc tính mà dữ liệu đầu vào được mong đợi sẽ đáp ứng và có thể được nhà phát triển sửa đổi.

  • Tiêu dùng: Một lược đồ từ thành phần SchemaGen và thống kê từ thành phần StatisticsGen.
  • Phát ra: Kết quả xác thực

ExampleValidator và TensorFlow Data Validation

ExampleValidator làm cho sử dụng rộng rãi TensorFlow Data Validation để phê chuẩn dữ liệu đầu vào của bạn.

Sử dụng thành phần exampleValidator

Một thành phần đường ống của ExampleValidator thường rất dễ triển khai và yêu cầu ít tùy chỉnh. Mã điển hình trông như thế này:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

Thông tin chi tiết có sẵn trong các tài liệu tham khảo ExampleValidator API .