AutoShardDataset

کلاس نهایی عمومی AutoShardDataset

مجموعه داده ای ایجاد می کند که مجموعه داده ورودی را خرد می کند.

مجموعه داده ای ایجاد می کند که مجموعه داده ورودی را توسط num_workers خرد می کند، و یک مجموعه داده خرد شده را برای کارگر شاخص برمی گرداند. این تلاش می‌کند تا با بررسی نمودار مجموعه داده‌ها و قرار دادن یک عملیات خرد قبل از ورودی‌های یک مجموعه داده خواننده (مثلاً CSVDataset، TFRecordDataset) یک مجموعه داده را به‌طور خودکار تقسیم کند.

اگر نتوانیم مجموعه داده را به طور خودکار تقسیم کنیم، این مجموعه داده یک خطای NotFound ایجاد می کند.

کلاس های تو در تو

کلاس AutoShardDataset.Options ویژگی های اختیاری برای AutoShardDataset

ثابت ها

رشته OP_NAME نام این عملیات، همانطور که توسط موتور هسته TensorFlow شناخته می شود

روش های عمومی

خروجی < TType >
asOutput ()
دسته نمادین تانسور را برمی گرداند.
استاتیک AutoShardDataset.Options
autoShardPolicy (AutoShardPolicy طولانی مدت)
استاتیک AutoShardDataset
ایجاد ( scope scope، Operand <?> inputDataset، Operand < TINT64 > numWorkers، Operand < TInt64 > index، List<Class<? گسترش TType >> outputTypes، List< Shape > outputShapes، Options... گزینه ها)
روش کارخانه برای ایجاد کلاسی که یک عملیات AutoShardDataset جدید را بسته بندی می کند.
خروجی <?>
رسیدگی ()

روش های ارثی

ثابت ها

رشته نهایی ثابت عمومی OP_NAME

نام این عملیات، همانطور که توسط موتور هسته TensorFlow شناخته می شود

مقدار ثابت: "ExperimentalAutoShardDataset"

روش های عمومی

خروجی عمومی < TType > asOutput ()

دسته نمادین تانسور را برمی گرداند.

ورودی های عملیات TensorFlow خروجی های عملیات تنسورفلو دیگر هستند. این روش برای به دست آوردن یک دسته نمادین که نشان دهنده محاسبه ورودی است استفاده می شود.

عمومی استاتیک AutoShardDataset.Options autoShardPolicy (طولانی autoShardPolicy)

استاتیک عمومی AutoShardDataset ایجاد ( scope scope, Operand <?> inputDataset, Operand < TInt64 > numWorkers, Operand < TInt64 > index, List<Class<? گسترش TType >> outputTypes, List< Shape > outputShapes, Options... گزینه ها)

روش کارخانه برای ایجاد کلاسی که یک عملیات AutoShardDataset جدید را بسته بندی می کند.

مولفه های
محدوده محدوده فعلی
مجموعه داده های ورودی یک تانسور متغیر که مجموعه داده ورودی را نشان می دهد.
numWorkers یک اسکالر نشان دهنده تعداد کارگرانی که این مجموعه داده را در سراسر توزیع می کنند.
فهرست مطالب یک اسکالر که نمایانگر شاخص کارگر فعلی از num_workers است.
گزینه ها مقادیر ویژگی های اختیاری را حمل می کند
برمی گرداند
  • یک نمونه جدید از AutoShardDataset

دسته عمومی خروجی <?> ()