חתימות נפוצות לטקסט

דף זה מתאר חתימות נפוצות שיש ליישם על ידי מודולים בפורמט TF1 Hub עבור משימות המקבלות קלט טקסט. ( לפורמט TF2 SavedModel , ראה את ה- API האנלוגי של SavedModel .)

וקטור תכונת טקסט

מודול וקטור של תכונת טקסט יוצר ייצוג וקטור צפוף מתכונות טקסט. הוא מקבל אצווה של מחרוזות של צורה [batch_size] וממפה אותן ל- float32 tensor של צורה [batch_size, N] . זה נקרא לעתים קרובות הטבעת טקסט בממד N

שימוש בסיסי

  embed = hub.Module("path/to/module")
  representations = embed([
      "A long sentence.",
      "single-word",
      "http://example.com"])

שימוש בעמודות תכונה

    feature_columns = [
      hub.text_embedding_column("comment", "path/to/module", trainable=False),
    ]
    input_fn = tf.estimator.inputs.numpy_input_fn(features, labels, shuffle=True)
    estimator = tf.estimator.DNNClassifier(hidden_units, feature_columns)
    estimator.train(input_fn, max_steps=100)

הערות

מודולים הוכשרו מראש על תחומים ו/או משימות שונות, ולכן לא כל מודול וקטור של תכונת טקסט יתאים לבעיה שלך. למשל: מודולים מסוימים יכלו להיות מאומנים בשפה אחת.

ממשק זה אינו מאפשר כוונון עדין של ייצוג הטקסט ב-TPUs, מכיוון שהוא מחייב את המודול להפעיל הן את עיבוד המחרוזות והן את המשתנים הניתנים לאימון בו-זמנית.