পাঠ্যের জন্য সাধারণ স্বাক্ষর

এই পৃষ্ঠাটি সাধারণ স্বাক্ষরগুলি বর্ণনা করে যা পাঠ্য ইনপুট গ্রহণ করে এমন কাজের জন্য TF1 হাব বিন্যাসে মডিউল দ্বারা প্রয়োগ করা উচিত। ( TF2 SavedModel ফরম্যাটের জন্য, সাদৃশ্যপূর্ণ SavedModel API দেখুন।)

পাঠ্য বৈশিষ্ট্য ভেক্টর

একটি পাঠ্য বৈশিষ্ট্য ভেক্টর মডিউল পাঠ্য বৈশিষ্ট্য থেকে একটি ঘন ভেক্টর উপস্থাপনা তৈরি করে। এটি আকৃতির স্ট্রিংগুলির একটি ব্যাচ গ্রহণ করে [batch_size] এবং আকৃতির একটি float32 টেনসরে ম্যাপ করে [batch_size, N] । এটিকে প্রায়ই N ডাইমেনশনে টেক্সট এম্বেডিং বলা হয়।

মৌলিক ব্যবহার

  embed = hub.Module("path/to/module")
  representations = embed([
      "A long sentence.",
      "single-word",
      "http://example.com"])

বৈশিষ্ট্য কলাম ব্যবহার

    feature_columns = [
      hub.text_embedding_column("comment", "path/to/module", trainable=False),
    ]
    input_fn = tf.estimator.inputs.numpy_input_fn(features, labels, shuffle=True)
    estimator = tf.estimator.DNNClassifier(hidden_units, feature_columns)
    estimator.train(input_fn, max_steps=100)

নোট

মডিউলগুলিকে বিভিন্ন ডোমেন এবং/অথবা কাজগুলিতে প্রাক-প্রশিক্ষিত করা হয়েছে, এবং তাই প্রতিটি পাঠ্য বৈশিষ্ট্য ভেক্টর মডিউল আপনার সমস্যার জন্য উপযুক্ত হবে না। যেমন: কিছু মডিউল একক ভাষায় প্রশিক্ষিত হতে পারে।

এই ইন্টারফেস টিপিইউ-তে পাঠ্য উপস্থাপনাকে সূক্ষ্ম-টিউনিং করার অনুমতি দেয় না, কারণ এটির জন্য মডিউলটিকে একই সময়ে স্ট্রিং প্রক্রিয়াকরণ এবং প্রশিক্ষণযোগ্য ভেরিয়েবল উভয়কেই ইনস্ট্যান্ট করতে হবে।