ResourceSparseApplyCenteredRmsProp

পাবলিক ফাইনাল ক্লাস ResourceSparseApplyCenteredRmsProp

কেন্দ্রীভূত RMSProp অ্যালগরিদম অনুযায়ী '*var' আপডেট করুন।

কেন্দ্রীভূত RMSProp অ্যালগরিদম স্বাভাবিকীকরণের জন্য কেন্দ্রীভূত দ্বিতীয় মুহূর্ত (অর্থাৎ, প্রকরণ) একটি অনুমান ব্যবহার করে, নিয়মিত RMSProp এর বিপরীতে, যা (অকেন্দ্রহীন) দ্বিতীয় মুহূর্ত ব্যবহার করে। এটি প্রায়শই প্রশিক্ষণে সহায়তা করে, তবে গণনা এবং মেমরির ক্ষেত্রে এটি কিছুটা বেশি ব্যয়বহুল।

মনে রাখবেন যে এই অ্যালগরিদমের ঘন বাস্তবায়নে, mg, ms, এবং mom আপডেট হবে এমনকি গ্র্যাড শূন্য হলেও, কিন্তু এই স্পার্স ইমপ্লিমেন্টেশনে, mg, ms, এবং mom পুনরাবৃত্তিতে আপডেট হবে না যেখানে গ্র্যাড শূন্য হয়।

গড়_বর্গ = ক্ষয় * গড়_বর্গ + (1-ক্ষয়) * গ্রেডিয়েন্ট ** 2 গড়_গ্রাড = ক্ষয় * গড়_গ্রাড + (1-ক্ষয়) * গ্রেডিয়েন্ট ডেল্টা = শিখন_হার * গ্রেডিয়েন্ট / sqrt(মান_স্কয়ার + এপিসিলন - গড়_গ্রাড ** 2)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - মা

নেস্টেড ক্লাস

ক্লাস ResourceSparseApplyCenteredRmsProp.Options ResourceSparseApplyCenteredRmsProp এর জন্য ঐচ্ছিক বৈশিষ্ট্য

ধ্রুবক

স্ট্রিং OP_NAME এই অপের নাম, টেনসরফ্লো কোর ইঞ্জিন দ্বারা পরিচিত

পাবলিক পদ্ধতি

স্ট্যাটিক <T TType প্রসারিত করে > ResourceSparseApplyCenteredRmsProp
তৈরি করুন ( স্কোপ স্কোপ, অপারেন্ড <?> var, অপারেন্ড <?> mg, Operand <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> ভরবেগ, Operand <T > epsilon, Operand <T> grad, Operand <? প্রসারিত TNumber > সূচক, বিকল্প... বিকল্প)
একটি নতুন ResourceSparseApplyCenteredRmsProp অপারেশন মোড়ানো একটি ক্লাস তৈরি করার কারখানা পদ্ধতি।
স্ট্যাটিক ResourceSparseApplyCenteredRmsProp.Options
ইউজ লকিং (বুলিয়ান ইউজ লকিং)

উত্তরাধিকারসূত্রে প্রাপ্ত পদ্ধতি

ধ্রুবক

সর্বজনীন স্ট্যাটিক চূড়ান্ত স্ট্রিং OP_NAME

এই অপের নাম, টেনসরফ্লো কোর ইঞ্জিন দ্বারা পরিচিত

ধ্রুবক মান: "ResourceSparseApplyCenteredRMSProp"

পাবলিক পদ্ধতি

পাবলিক স্ট্যাটিক রিসোর্সস্পারসঅ্যাপ্লাই সেন্টারডআরএমএসপ্রপ তৈরি করুন ( স্কোপ স্কোপ, অপারেন্ড <?> var, অপারেন্ড <?> mg, অপারেন্ড <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> ভরবেগ, Operand <T> epsilon, Operand <T> grad, Operand <? প্রসারিত TNumber > সূচক, বিকল্প... বিকল্প)

একটি নতুন ResourceSparseApplyCenteredRmsProp অপারেশন মোড়ানো একটি ক্লাস তৈরি করার কারখানা পদ্ধতি।

পরামিতি
সুযোগ বর্তমান সুযোগ
var একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
মিলিগ্রাম একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
মাইক্রোসফট একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
মা একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
lr স্কেলিং ফ্যাক্টর। একটি স্কেলার হতে হবে।
rho ক্ষয় হার. একটি স্কেলার হতে হবে।
epsilon রিজ শব্দ। একটি স্কেলার হতে হবে।
স্নাতক গ্রেডিয়েন্ট।
সূচক var, ms এবং mom-এর প্রথম মাত্রায় সূচকগুলির একটি ভেক্টর।
বিকল্প ঐচ্ছিক বৈশিষ্ট্য মান বহন করে
রিটার্নস
  • ResourceSparseApplyCenteredRmsProp-এর একটি নতুন উদাহরণ

পাবলিক স্ট্যাটিক রিসোর্সস্পারসঅ্যাপ্লাইসেন্টারডআরএমএসপ্রপ।অপশন ইউজ লকিং (বুলিয়ান ইউজ লকিং)

পরামিতি
লকিং ব্যবহার করুন যদি `True`, var, mg, ms, এবং mom tensors-এর আপডেট একটি লক দ্বারা সুরক্ষিত থাকে; অন্যথায় আচরণটি অনির্ধারিত, তবে কম বিরোধ প্রদর্শন করতে পারে।