নতুন এবং পুরানো শব্দভান্ডার ফাইলগুলির একটি পথ দেওয়া, একটি রিম্যাপিং টেনসর প্রদান করে৷
দৈর্ঘ্য `num_new_vocab`, যেখানে `remapping[i]` পুরানো শব্দভান্ডারের সারি নম্বর রয়েছে যা নতুন শব্দভান্ডারের সারি `i` এর সাথে মিলে যায় (লাইন `new_vocab_offset` থেকে শুরু হয় এবং `num_new_vocab` সত্তা পর্যন্ত), অথবা `- 1` যদি নতুন শব্দভান্ডারে `i` এন্ট্রি করা হয় তাহলে পুরানো শব্দভাণ্ডারে না থাকে। পুরানো শব্দভান্ডার প্রথম `old_vocab_size` এন্ট্রিতে সীমাবদ্ধ থাকে যদি `old_vocab_size` -1 এর ডিফল্ট মান না হয়।
`num_vocab_offset` পার্টিশন ভেরিয়েবল ক্ষেত্রে ব্যবহার করতে সক্ষম করে, এবং সাধারণত পার্টিশন সংক্রান্ত তথ্য পরীক্ষা করে সেট করা উচিত। ফাইলগুলির বিন্যাসটি একটি পাঠ্য ফাইল হওয়া উচিত, প্রতিটি লাইনে শব্দভান্ডারের মধ্যে একটি একক সত্তা রয়েছে৷
উদাহরণ স্বরূপ, `new_vocab_file` এর সাথে একটি পাঠ্য ফাইল একটি একক লাইনে নিম্নলিখিত উপাদানগুলির প্রত্যেকটি রয়েছে: `[f0, f1, f2, f3]`, old_vocab_file = [f1, f0, f3], `num_new_vocab = 3, new_vocab_offset = 1`, ফেরত দেওয়া রিম্যাপিং হবে `[0, -1, 2]`।
অপটি পুরানো শব্দভান্ডারে নতুন শব্দভাণ্ডারে কতগুলি এন্ট্রি ছিল তার একটি গণনাও ফেরত দেয়, যা ওজন ম্যাট্রিক্স রিম্যাপিংয়ে আরম্ভ করার জন্য মানের সংখ্যা গণনা করতে ব্যবহৃত হয়
এই কার্যকারিতাটি TensorFlow চেকপয়েন্ট থেকে সারি শব্দভান্ডার (সাধারণত, বৈশিষ্ট্য) এবং কলামের শব্দভাণ্ডার (সাধারণত, ক্লাস) উভয়ের পুনর্ম্যাপ করতে ব্যবহার করা যেতে পারে। উল্লেখ্য যে পার্টিশনিং লজিক ডিভ-পার্টিশন ভেরিয়েবলের সাথে সম্পর্কিত সংলগ্ন শব্দভান্ডারের উপর নির্ভর করে। অধিকন্তু, অন্তর্নিহিত রিম্যাপিং একটি IndexTable ব্যবহার করে (একটি অযৌক্তিক CuckooTable এর বিপরীতে), তাই ক্লায়েন্ট কোডটি সংশ্লিষ্ট index_table_from_file() ব্যবহার করা উচিত যেমন FeatureColumn ফ্রেমওয়ার্ক করে (tf.feature_to_id( এর বিপরীতে), যা একটি CuckooTable ব্যবহার করে)।
নেস্টেড ক্লাস
| ক্লাস | GenerateVocabRemapping.Options | GenerateVocabRemapping এর জন্য ঐচ্ছিক বৈশিষ্ট্য | |
ধ্রুবক
| স্ট্রিং | OP_NAME | এই অপের নাম, টেনসরফ্লো কোর ইঞ্জিন দ্বারা পরিচিত |
পাবলিক পদ্ধতি
| স্ট্যাটিক GenerateVocabRemapping | |
| আউটপুট < TInt32 > | সংখ্যা বর্তমান () পুরানো ভোকাবে পাওয়া নতুন ভোকাব এন্ট্রির সংখ্যা। |
| স্ট্যাটিক GenerateVocabRemapping.Options | oldVocabSize (দীর্ঘ পুরানোVocabSize) |
| আউটপুট < TInt64 > | রিম্যাপিং () দৈর্ঘ্যের একটি টেনসর num_new_vocab যেখানে সূচী i-এর উপাদানটি পুরানো আইডির সমান যা নতুন আইডি i-তে ম্যাপ করে। |
উত্তরাধিকারসূত্রে প্রাপ্ত পদ্ধতি
ধ্রুবক
সর্বজনীন স্ট্যাটিক চূড়ান্ত স্ট্রিং OP_NAME
এই অপের নাম, টেনসরফ্লো কোর ইঞ্জিন দ্বারা পরিচিত
পাবলিক পদ্ধতি
পাবলিক স্ট্যাটিক জেনারেটভোকাব রিম্যাপিং তৈরি করুন ( স্কোপ স্কোপ, অপারেন্ড < TString > newVocabFile, Operand < TString > oldVocabFile, লং নিউভোকাবঅফসেট, লং numNewVocab, বিকল্প... বিকল্প)
একটি নতুন GenerateVocabRemapping অপারেশন মোড়ানো একটি ক্লাস তৈরি করার কারখানার পদ্ধতি।
পরামিতি
| সুযোগ | বর্তমান সুযোগ |
|---|---|
| newVocabFile | নতুন ভোকাব ফাইলের পথ। |
| oldVocabFile | পুরানো ভোকাব ফাইলের পথ। |
| newVocabOffset | নতুন ভোকাব ফাইলে কয়টি এন্ট্রি পড়তে শুরু করতে হবে। |
| numNewVocab | রিম্যাপ করার জন্য নতুন ভোকাব ফাইলে এন্ট্রির সংখ্যা। |
| বিকল্প | ঐচ্ছিক বৈশিষ্ট্য মান বহন করে |
রিটার্নস
- GenerateVocabRemapping এর একটি নতুন উদাহরণ
পাবলিক স্ট্যাটিক GenerateVocabRemapping.Options oldVocabSize (দীর্ঘ পুরানোVocabSize)
পরামিতি
| পুরানো ভোকাব সাইজ | বিবেচনা করার জন্য পুরানো ভোকাব ফাইলে এন্ট্রির সংখ্যা। যদি -1, পুরো পুরানো শব্দভান্ডার ব্যবহার করুন। |
|---|