কিছু TFX উপাদান আপনার ইনপুট ডেটার একটি বিবরণ ব্যবহার করে যাকে স্কিমা বলা হয়। স্কিমা হল schema.proto- এর একটি উদাহরণ। এটি বৈশিষ্ট্য মানগুলির জন্য ডেটা প্রকারগুলি নির্দিষ্ট করতে পারে, সমস্ত উদাহরণে একটি বৈশিষ্ট্য উপস্থিত থাকতে হবে কিনা, অনুমোদিত মান ব্যাপ্তি এবং অন্যান্য বৈশিষ্ট্য। একটি SchemaGen পাইপলাইন উপাদান স্বয়ংক্রিয়ভাবে প্রশিক্ষণ ডেটা থেকে ধরন, বিভাগ এবং ব্যাপ্তি অনুমান করে একটি স্কিমা তৈরি করবে।
- Consumes: একটি StatisticsGen উপাদান থেকে পরিসংখ্যান
- নির্গত: ডেটা স্কিমা প্রোটো
এখানে একটি স্কিমা প্রোটো থেকে একটি উদ্ধৃতি:
...
feature {
name: "age"
value_count {
min: 1
max: 1
}
type: FLOAT
presence {
min_fraction: 1
min_count: 1
}
}
feature {
name: "capital-gain"
value_count {
min: 1
max: 1
}
type: FLOAT
presence {
min_fraction: 1
min_count: 1
}
}
...
নিম্নলিখিত TFX লাইব্রেরিগুলি স্কিমা ব্যবহার করে:
- টেনসরফ্লো ডেটা যাচাইকরণ
- টেনসরফ্লো ট্রান্সফর্ম
- টেনসরফ্লো মডেল বিশ্লেষণ
একটি সাধারণ TFX পাইপলাইনে SchemaGen একটি স্কিমা তৈরি করে, যা অন্যান্য পাইপলাইনের উপাদানগুলি ব্যবহার করে। যাইহোক, স্বয়ংক্রিয়-উত্পন্ন স্কিমা সর্বোত্তম প্রচেষ্টা এবং শুধুমাত্র ডেটার মৌলিক বৈশিষ্ট্যগুলি অনুমান করার চেষ্টা করে। এটি প্রত্যাশিত যে বিকাশকারীরা প্রয়োজন অনুসারে এটি পর্যালোচনা এবং সংশোধন করবে।
ImportSchemaGen কম্পোনেন্ট ব্যবহার করে পরিবর্তিত স্কিমা পাইপলাইনে ফিরিয়ে আনা যেতে পারে। প্রাথমিক স্কিমা জেনারেশনের জন্য SchemaGen উপাদানটি সরানো যেতে পারে এবং সমস্ত ডাউনস্ট্রিম উপাদান ImportSchemaGen-এর আউটপুট ব্যবহার করতে পারে। প্রশিক্ষণের ডেটা ক্রমাগত পরীক্ষা করার জন্য আমদানি করা স্কিমা ব্যবহার করে ExampleValidator যোগ করারও সুপারিশ করা হয়।
SchemaGen এবং TensorFlow ডেটা বৈধতা
SchemaGen একটি স্কিমা অনুমান করার জন্য TensorFlow ডেটা যাচাইকরণের ব্যাপক ব্যবহার করে।
SchemaGen উপাদান ব্যবহার করে
প্রাথমিক স্কিমা প্রজন্মের জন্য
একটি SchemaGen পাইপলাইন উপাদান সাধারণত স্থাপন করা খুব সহজ এবং সামান্য কাস্টমাইজেশন প্রয়োজন। সাধারণ কোড এই মত দেখায়:
schema_gen = tfx.components.SchemaGen(
statistics=stats_gen.outputs['statistics'])
SchemaGen API রেফারেন্সে আরও বিশদ পাওয়া যায়।
পর্যালোচনা করা স্কিমা আমদানির জন্য
পর্যালোচনা করা স্কিমা সংজ্ঞা পাইপলাইনে আনতে পাইপলাইনে ImportSchemaGen উপাদান যোগ করুন।
schema_gen = tfx.components.ImportSchemaGen(
schema_file='/some/path/schema.pbtxt')
schema_file পাঠ্য প্রোটোবাফ ফাইলের একটি সম্পূর্ণ পথ হওয়া উচিত।
ImportSchemaGen API রেফারেন্সে আরও বিশদ পাওয়া যায়।