उदाहरण सत्यापनकर्ता TFX पाइपलाइन घटक

उदाहरण वैलिडेटर पाइपलाइन घटक प्रशिक्षण और डेटा की सेवा में विसंगतियों की पहचान करता है। यह डेटा में विभिन्न वर्गों की विसंगतियों का पता लगा सकता है। उदाहरण के लिए यह कर सकता है:

  1. उपयोगकर्ता की अपेक्षाओं को संहिताबद्ध करने वाले स्कीमा के विरुद्ध डेटा आंकड़ों की तुलना करके वैधता जांच करें
  2. प्रशिक्षण और सेवा डेटा की तुलना करके प्रशिक्षण-सेवा तिरछा का पता लगाएं।
  3. डेटा की एक श्रृंखला को देखकर डेटा बहाव का पता लगाएं।

उदाहरण वैलिडेटर पाइपलाइन घटक एक स्कीमा के विरुद्ध स्टैटिस्टिक्सजेन पाइपलाइन घटक द्वारा गणना किए गए डेटा आंकड़ों की तुलना करके उदाहरण डेटा में किसी भी विसंगति की पहचान करता है। अनुमानित स्कीमा उन गुणों को संहिताबद्ध करता है जिन्हें इनपुट डेटा से संतुष्ट होने की उम्मीद है, और डेवलपर द्वारा संशोधित किया जा सकता है।

  • उपभोग करता है: एक स्कीमाजेन घटक से एक स्कीमा, और एक स्टैटिस्टिक्सजेन घटक से आंकड़े।
  • उत्सर्जन: सत्यापन परिणाम

उदाहरण सत्यापनकर्ता और TensorFlow डेटा सत्यापन

ExampleValidator का काफी उपयोग किया है TensorFlow डेटा मान्यता अपने इनपुट डेटा सत्यापित करने के लिए।

उदाहरण सत्यापनकर्ता घटक का उपयोग करना

एक उदाहरण वैलिडेटर पाइपलाइन घटक आमतौर पर तैनात करना बहुत आसान होता है और इसके लिए बहुत कम अनुकूलन की आवश्यकता होती है। विशिष्ट कोड इस तरह दिखता है:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

अधिक जानकारी में उपलब्ध हैं ExampleValidator API संदर्भ