امضاهای رایج برای متن

این صفحه امضاهای رایجی را توضیح می‌دهد که باید توسط ماژول‌ها در قالب TF1 Hub برای کارهایی که ورودی‌های متن را می‌پذیرند، پیاده‌سازی کنند. (برای فرمت TF2 SavedModel ، به API مشابه SavedModel مراجعه کنید.)

وکتور ویژگی متن

یک ماژول بردار ویژگی متن، یک نمایش برداری متراکم از ویژگی های متن ایجاد می کند. دسته‌ای از رشته‌های شکل [batch_size] را می‌پذیرد و آنها را به یک تانسور float32 از شکل [batch_size, N] نگاشت می‌کند. اغلب به این کار تعبیه متن در بعد N می گویند.

استفاده اساسی

  embed = hub.Module("path/to/module")
  representations = embed([
      "A long sentence.",
      "single-word",
      "http://example.com"])

استفاده از ستون ویژگی

    feature_columns = [
      hub.text_embedding_column("comment", "path/to/module", trainable=False),
    ]
    input_fn = tf.estimator.inputs.numpy_input_fn(features, labels, shuffle=True)
    estimator = tf.estimator.DNNClassifier(hidden_units, feature_columns)
    estimator.train(input_fn, max_steps=100)

یادداشت ها

ماژول ها در حوزه ها و/یا وظایف مختلف از قبل آموزش داده شده اند و بنابراین هر ماژول بردار ویژگی متنی برای مشکل شما مناسب نیست. به عنوان مثال: برخی از ماژول ها می توانستند روی یک زبان آموزش داده شوند.

این رابط اجازه تنظیم دقیق نمایش متن در TPU ها را نمی دهد، زیرا به ماژول نیاز دارد که هم پردازش رشته و هم متغیرهای قابل آموزش را به طور همزمان نمونه سازی کند.