StopGradient

পাবলিক চূড়ান্ত ক্লাস StopGradient

গ্রেডিয়েন্ট গণনা বন্ধ করে।

একটি গ্রাফে কার্যকর করা হলে, এই অপটি তার ইনপুট টেনসরকে যেমন-আউটপুট করে।

কম্পিউট গ্রেডিয়েন্টের জন্য অপ্স তৈরি করার সময়, এই অপটি এর ইনপুটগুলির অবদানকে বিবেচনায় নিতে বাধা দেয়। সাধারণত, গ্রেডিয়েন্ট জেনারেটর একটি নির্দিষ্ট 'ক্ষতি' এর ডেরিভেটিভগুলি গণনা করার জন্য একটি গ্রাফে অপস যোগ করে যা এর গণনায় অবদান রাখে এমন ইনপুটগুলি বারবার খুঁজে বের করে। আপনি যদি গ্রাফে এই অপটি সন্নিবেশ করেন তবে এটি গ্রেডিয়েন্ট জেনারেটর থেকে ইনপুটগুলি মাস্ক করা হয়। কম্পিউটিং গ্রেডিয়েন্টের জন্য এগুলিকে বিবেচনায় নেওয়া হয় না।

আপনি যখন টেনসরফ্লো দিয়ে একটি মান গণনা করতে চান তখন এটি কার্যকর কিন্তু মানটি একটি ধ্রুবক ছিল বলে ভান করতে হবে। উদাহরণস্বরূপ, একটি ভেক্টর x এর জন্য softmax ফাংশন হিসাবে লেখা যেতে পারে

def softmax(x):
     numerator = tf.exp(x)
     denominator = tf.reduce_sum(numerator)
     return numerator / denominator
 

x-এর মানগুলি বড় হলে এটি ওভারফ্লো হওয়ার জন্য সংবেদনশীল। একটি বিকল্প আরো স্থিতিশীল উপায় হল প্রতিটি মান থেকে x এর সর্বোচ্চ বিয়োগ করা।

def stable_softmax(x):
     z = x - tf.reduce_max(x)
     numerator = tf.exp(z)
     denominator = tf.reduce_sum(numerator)
     return numerator / denominator
 

যাইহোক, যখন আমরা সফ্টম্যাক্স-এর মাধ্যমে x-এ ব্যাকপ্রপ করি, তখন আমরা tf.reduce_max(x) (যদি সর্বোচ্চ মান অনন্য না হয় তবে গ্রেডিয়েন্টটি ভুল ইনপুটে প্রবাহিত হতে পারে) গণনার মাধ্যমে ব্যাকপ্রপ করতে চাই না এবং এটিকে ধ্রুবক হিসাবে বিবেচনা করি। অতএব, আমরা এই হিসাবে লিখতে হবে

def stable_softmax(x):
     z = x - tf.stop_gradient(tf.reduce_max(x))
     numerator = tf.exp(z)
     denominator = tf.reduce_sum(numerator)
     return numerator / denominator
 

কিছু অন্যান্য উদাহরণ অন্তর্ভুক্ত:

• EM অ্যালগরিদম যেখানে M-পদক্ষেপটি ই-পদক্ষেপের আউটপুটের মাধ্যমে ব্যাকপ্রোপগেশনকে জড়িত করা উচিত নয়।
• বোল্টজম্যান মেশিনের বৈপরীত্যমূলক বিচ্যুতি প্রশিক্ষণ যেখানে, শক্তি ফাংশন পার্থক্য করার সময়, প্রশিক্ষণটি মডেল থেকে নমুনাগুলি তৈরি করা গ্রাফের মাধ্যমে প্রসারিত হওয়া উচিত নয়।
• প্রতিকূল প্রশিক্ষণ, যেখানে প্রতিকূল উদাহরণ তৈরির প্রক্রিয়ার মাধ্যমে কোনও ব্যাকপ্রপ ঘটবে না।

পাবলিক পদ্ধতি

আউটপুট <T>	আউটপুট হিসাবে () একটি টেনসরের প্রতীকী হ্যান্ডেল প্রদান করে।
স্ট্যাটিক <T> StopGradient <T>	তৈরি করুন ( স্কোপ স্কোপ, অপারেন্ড <T> ইনপুট) একটি নতুন StopGradient অপারেশন মোড়ানো একটি ক্লাস তৈরি করার কারখানা পদ্ধতি।
আউটপুট <T>	আউটপুট ()

উত্তরাধিকারসূত্রে প্রাপ্ত পদ্ধতি

ক্লাস org.tensorflow.op.PrimitiveOp থেকে

চূড়ান্ত বুলিয়ান	সমান (অবজেক্ট অবজেক্ট)
চূড়ান্ত int	হ্যাশকোড ()
অপারেশন	অপ () অন্তর্নিহিত Operation ফেরত দেয়
চূড়ান্ত স্ট্রিং	toString ()

java.lang.Object ক্লাস থেকে

বুলিয়ান	সমান (অবজেক্ট arg0)
চূড়ান্ত ক্লাস<?>	getClass ()
int	হ্যাশকোড ()
চূড়ান্ত শূন্যতা	অবহিত করুন ()
চূড়ান্ত শূন্যতা	সকলকে অবহিত করুন ()
স্ট্রিং	toString ()
চূড়ান্ত শূন্যতা	অপেক্ষা করুন (দীর্ঘ arg0, int arg1)
চূড়ান্ত শূন্যতা	অপেক্ষা করুন (দীর্ঘ arg0)
চূড়ান্ত শূন্যতা	অপেক্ষা করুন ()

ইন্টারফেস org.tensorflow.Operand থেকে

বিমূর্ত আউটপুট <T>

আউটপুট হিসাবে () একটি টেনসরের প্রতীকী হ্যান্ডেল প্রদান করে।

পাবলিক পদ্ধতি

সর্বজনীন আউটপুট <T> হিসাবে আউটপুট ()

একটি টেনসরের প্রতীকী হ্যান্ডেল প্রদান করে।

TensorFlow অপারেশনের ইনপুট হল অন্য TensorFlow অপারেশনের আউটপুট। এই পদ্ধতিটি একটি সিম্বলিক হ্যান্ডেল পেতে ব্যবহৃত হয় যা ইনপুটের গণনার প্রতিনিধিত্ব করে।

পাবলিক স্ট্যাটিক স্টপগ্রেডিয়েন্ট <T> তৈরি করুন ( স্কোপ স্কোপ, অপারেন্ড <T> ইনপুট)

একটি নতুন StopGradient অপারেশন মোড়ানো একটি ক্লাস তৈরি করার কারখানা পদ্ধতি।

পরামিতি

সুযোগ	বর্তমান সুযোগ

রিটার্নস

• StopGradient এর একটি নতুন উদাহরণ

সর্বজনীন আউটপুট <T> আউটপুট ()