Bu sayfada, metin girişlerini kabul eden görevler için TF1 Hub formatındaki modüller tarafından uygulanması gereken ortak imzalar açıklanmaktadır. ( TF2 SavedModel formatı için benzer SavedModel API'sine bakın.)
Metin özelliği vektörü
Bir metin özelliği vektör modülü, metin özelliklerinden yoğun bir vektör temsili oluşturur. [batch_size]
şeklindeki bir dizi diziyi kabul eder ve bunları [batch_size, N]
şeklindeki bir float32
tensörüne eşler. Buna genellikle N
boyutuna metin yerleştirme adı verilir.
Temel kullanım
embed = hub.Module("path/to/module")
representations = embed([
"A long sentence.",
"single-word",
"http://example.com"])
Özellik sütunu kullanımı
feature_columns = [
hub.text_embedding_column("comment", "path/to/module", trainable=False),
]
input_fn = tf.estimator.inputs.numpy_input_fn(features, labels, shuffle=True)
estimator = tf.estimator.DNNClassifier(hidden_units, feature_columns)
estimator.train(input_fn, max_steps=100)
Notlar
Modüller farklı alanlar ve/veya görevler üzerinde önceden eğitilmiştir ve bu nedenle her metin özelliği vektör modülü sorununuz için uygun olmayacaktır. Örnek: Bazı modüller tek bir dil üzerinde eğitilmiş olabilir.
Bu arayüz, TPU'lardaki metin gösteriminin ince ayarına izin vermez çünkü modülün hem dizi işlemeyi hem de eğitilebilir değişkenleri aynı anda başlatmasını gerektirir.