SparseApplyRmsProp

পাবলিক ফাইনাল ক্লাস SparseApplyRmsProp

RMSProp অ্যালগরিদম অনুযায়ী '*var' আপডেট করুন।

মনে রাখবেন যে এই অ্যালগরিদমের ঘন বাস্তবায়নে, গ্র্যাড শূন্য হলেও ms এবং mom আপডেট হবে, কিন্তু এই স্পার্স বাস্তবায়নে, ms এবং mom পুনরাবৃত্তিতে আপডেট হবে না যার সময় গ্র্যাড শূন্য।

গড়_বর্গ = ক্ষয় * গড়_বর্গ + (1-ক্ষয়) * গ্রেডিয়েন্ট ** 2 ডেল্টা = লার্নিং_রেট * গ্রেডিয়েন্ট / sqrt (মান_বর্গ + এপসিলন)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$$$var <- var - mom$$

নেস্টেড ক্লাস

ক্লাস SparseApplyRmsProp.Options SparseApplyRmsProp এর জন্য ঐচ্ছিক বৈশিষ্ট্য

ধ্রুবক

স্ট্রিং OP_NAME এই অপের নাম, টেনসরফ্লো কোর ইঞ্জিন দ্বারা পরিচিত

পাবলিক পদ্ধতি

আউটপুট <T>
আউটপুট হিসাবে ()
টেনসরের প্রতীকী হ্যান্ডেল ফেরত দেয়।
স্ট্যাটিক <T TType প্রসারিত করে > SparseApplyRmsProp <T>
তৈরি করুন ( স্কোপ স্কোপ, অপারেন্ড <T> var, Operand <T> ms, Operand <T> mom, Operand <T> lr, Operand <T> rho, Operand <T> ভরবেগ, Operand <T> epsilon, Operand <T > গ্র্যাড, অপারেন্ড <? প্রসারিত TNumber > সূচক, বিকল্প... বিকল্প)
একটি নতুন SparseApplyRmsProp অপারেশন মোড়ানো একটি ক্লাস তৈরি করার কারখানার পদ্ধতি।
আউটপুট <T>
আউট ()
"var" এর মতোই।
স্ট্যাটিক SparseApplyRmsProp.Options
ইউজ লকিং (বুলিয়ান ইউজ লকিং)

উত্তরাধিকারসূত্রে প্রাপ্ত পদ্ধতি

ধ্রুবক

সর্বজনীন স্ট্যাটিক চূড়ান্ত স্ট্রিং OP_NAME

এই অপের নাম, টেনসরফ্লো কোর ইঞ্জিন দ্বারা পরিচিত

ধ্রুবক মান: "SparseApplyRMSProp"

পাবলিক পদ্ধতি

সর্বজনীন আউটপুট <T> হিসাবে আউটপুট ()

টেনসরের প্রতীকী হ্যান্ডেল ফেরত দেয়।

TensorFlow অপারেশনের ইনপুট হল অন্য TensorFlow অপারেশনের আউটপুট। এই পদ্ধতিটি একটি প্রতীকী হ্যান্ডেল পেতে ব্যবহৃত হয় যা ইনপুটের গণনাকে প্রতিনিধিত্ব করে।

সর্বজনীন স্ট্যাটিক SparseApplyRmsProp <T> তৈরি করুন ( স্কোপ স্কোপ, Operand <T> var, Operand <T> ms, Operand <T> mom, Operand <T> lr, Operand <T> rho, Operand <T> ভরবেগ, Operand <T > epsilon, Operand <T> grad, Operand <? প্রসারিত TNumber > সূচক, বিকল্প... বিকল্প)

একটি নতুন SparseApplyRmsProp অপারেশন মোড়ানো একটি ক্লাস তৈরি করার কারখানার পদ্ধতি।

পরামিতি
সুযোগ বর্তমান সুযোগ
var একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
মাইক্রোসফট একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
মা একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
lr স্কেলিং ফ্যাক্টর। একটি স্কেলার হতে হবে।
rho ক্ষয় হার. একটি স্কেলার হতে হবে।
epsilon রিজ শব্দ। একটি স্কেলার হতে হবে।
স্নাতক গ্রেডিয়েন্ট।
সূচক var, ms এবং mom-এর প্রথম মাত্রায় সূচকগুলির একটি ভেক্টর।
বিকল্প ঐচ্ছিক বৈশিষ্ট্য মান বহন করে
রিটার্নস
  • SparseApplyRmsProp এর একটি নতুন উদাহরণ

সর্বজনীন আউটপুট <T> আউট ()

"var" এর মতোই।

পাবলিক স্ট্যাটিক SparseApplyRmsProp.Options useLocking (বুলিয়ান ইউজ লকিং)

পরামিতি
লকিং ব্যবহার করুন যদি `True` হয়, var, ms, এবং mom tensors এর আপডেট করা একটি লক দ্বারা সুরক্ষিত থাকে; অন্যথায় আচরণটি অনির্ধারিত, তবে কম বিরোধ প্রদর্শন করতে পারে।