جزء ExampleValidator TFX Pipeline

جزء ExampleValidator خط لوله ناهنجاری ها را در آموزش و ارائه داده ها شناسایی می کند. می تواند کلاس های مختلف ناهنجاری را در داده ها تشخیص دهد. به عنوان مثال می تواند:

1. با مقایسه آمار داده ها با طرحواره ای که انتظارات کاربر را کدگذاری می کند، بررسی اعتبار را انجام دهید.
2. با مقایسه آموزش و داده‌های ارائه‌شده، انحراف ارائه خدمات را شناسایی کنید.
3. انحراف داده ها را با نگاه کردن به یک سری داده شناسایی کنید.
4. اعتبارسنجی سفارشی را با استفاده از پیکربندی مبتنی بر SQL انجام دهید.

مؤلفه خط لوله ExampleValidator هرگونه ناهنجاری را در داده های مثال با مقایسه آمار داده های محاسبه شده توسط مؤلفه خط لوله StatisticsGen در برابر یک طرحواره شناسایی می کند. طرح استنباط شده ویژگی هایی را کدگذاری می کند که انتظار می رود داده های ورودی آن ها را برآورده کند و توسعه دهنده می تواند آن ها را اصلاح کند.

• Consumes: طرحی از یک جزء SchemaGen، و آمار از یک جزء StatisticsGen.
• انتشار: نتایج اعتبارسنجی

ExampleValidator و اعتبارسنجی داده TensorFlow

ExampleValidator به طور گسترده ای از TensorFlow Data Validation برای اعتبارسنجی داده های ورودی شما استفاده می کند.

با استفاده از ExampleValidator Component

یک جزء ExampleValidator خط لوله معمولاً بسیار آسان است و نیاز به سفارشی سازی کمی دارد. کد معمولی به شکل زیر است:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

جزئیات بیشتر در مرجع ExampleValidator API موجود است.