عملیاتی که به روز رسانی گرادیان جداول جاسازی شده را انجام می دهد.
آرگومان gradients یک TensorList است که طول و شکل های مشابهی با مقدار بازگشتی XlaRecvTPUEmbeddingActivations دارد، اما شامل گرادیان های از دست دادن مدل با توجه به فعال سازی های تعبیه شده است. جداول جاسازی از این شیب ها از طریق بهینه ساز مشخص شده در پروتو TPUEmbeddingConfiguration داده شده به tpu.initialize_system به روز می شوند.
روش های عمومی
استاتیک XlaSendTPUEmbeddingGradients |
روش های ارثی
روش های عمومی
عمومی ایستا XlaSendTPUEmbeddingGradients ایجاد می کند ( دامنه دامنه، Iterable< Operand <Float>> گرادیان، Iterable< Operand <Float>> LearnRates، Operand <?> deduplicationData، پیکربندی رشته)
روش کارخانه برای ایجاد کلاسی که یک عملیات جدید XlaSendTPUEmbeddingGradients را بسته بندی می کند.
مولفه های
محدوده | محدوده فعلی |
---|---|
شیب ها | TensorList از گرادیان هایی که با آن جداول جاسازی را به روز می کنند. |
نرخ های یادگیری | TensorList از نرخ های یادگیری که برای به روز رسانی جداول جاسازی از طریق بهینه ساز استفاده می شود. طول TensorList باید برابر با تعداد برچسبهای نرخ یادگیری پویا باشد که در پروتو TPUEmbeddingConfiguration مشخص شده است. |
DeduplicationData | یک تانسور با نوع=DT_VARIANT که حاوی دادههای تکراری است. تانسور یک تاپل تو در تو XLA حاوی N عنصر است (که در آن N نسبت تعداد هسته های جاسازی شده به هسته های تانسور در هر تراشه TPU است). هر عنصر از تاپل تودرتو یک تاپل از تانسورهای رتبه 1 است. هر تانسور یا شامل شاخصهایی (DT_UINT32) برای جاسازی جستجو در TensorCore یا وزنهایی (DT_FLOAT) برای اعمال در خروجی عملیات جستجوی جاسازی است. |
پیکربندی | پروتوی TPUEmbeddingConfiguration سریال. |
برمی گرداند
- یک نمونه جدید از XlaSendTPUEmbeddingGradients