পাবলিক ফাইনাল ক্লাস XlaSendTPUEmbeddingGradients
একটি অপ যা এম্বেডিং টেবিলের গ্রেডিয়েন্ট আপডেট করে।
গ্রেডিয়েন্ট আর্গুমেন্ট হল একটি TensorList যার দৈর্ঘ্য এবং আকার XlaRecvTPUEmbeddingActivations-এর রিটার্ন মানের সমান, কিন্তু এমবেডিং অ্যাক্টিভেশনের ক্ষেত্রে মডেলের ক্ষতির গ্রেডিয়েন্ট রয়েছে। tpu.initialize_system-এ দেওয়া TPUEmbeddingConfiguration প্রোটোতে নির্দিষ্ট করা অপ্টিমাইজারের মাধ্যমে এম্বেডিং টেবিলগুলি এই গ্রেডিয়েন্টগুলি থেকে আপডেট করা হয়।
পাবলিক পদ্ধতি
| স্ট্যাটিক XlaSendTPUEmbeddingGradients |
উত্তরাধিকারসূত্রে প্রাপ্ত পদ্ধতি
পাবলিক পদ্ধতি
পাবলিক স্ট্যাটিক XlaSendTPUEmbeddingGradients তৈরি করে ( Scope scope, Iterable< Operand <float>> gradients, Iterable< Operand <float>> learningRates, Operand <?> deduplicationData, String config)
একটি নতুন XlaSendTPUEmbeddingGradients অপারেশন মোড়ানো একটি ক্লাস তৈরি করার কারখানা পদ্ধতি।
পরামিতি
| সুযোগ | বর্তমান সুযোগ |
|---|---|
| গ্রেডিয়েন্ট | গ্রেডিয়েন্টের একটি টেনসরলিস্ট যার সাথে এম্বেডিং টেবিল আপডেট করতে হবে। |
| শেখার হার | অপ্টিমাইজারের মাধ্যমে এম্বেডিং টেবিল আপডেট করার জন্য ব্যবহৃত শেখার হারের একটি টেনসরলিস্ট। টেনসরলিস্টের দৈর্ঘ্য টিপিইউএমবেডিং কনফিগারেশন প্রোটোতে নির্দিষ্ট করা ডায়নামিক লার্নিং রেট ট্যাগের সংখ্যার সমান হতে হবে। |
| deduplicationData | টাইপ=DT_VARIANT সহ একটি টেনসর যাতে ডিডপ্লিকেশন ডেটা থাকে। টেনসর হল একটি XLA নেস্টেড টিপল যাতে N উপাদান থাকে (যেখানে N হল প্রতি TPU চিপে টেনসর কোরের এমবেডিংয়ের সংখ্যার অনুপাত)। নেস্টেড টিপলের প্রতিটি উপাদান হল র্যাঙ্ক 1 টেনসরের একটি টিপল। প্রতিটি টেনসরে হয় টেনসরকোরে এম্বেড করার জন্য সূচক (DT_UINT32) বা এমবেডিং লুকআপ অপারেশনের আউটপুটে প্রয়োগ করার জন্য ওজন (DT_FLOAT) থাকে। |
| কনফিগারেশন | ক্রমিককৃত TPUEmbedding কনফিগারেশন প্রোটো। |
রিটার্নস
- XlaSendTPUEmbeddingGradients-এর একটি নতুন উদাহরণ