Modelli scalabili di apprendimento neurale per classificare (LTR)
import tensorflow as tf
import tensorflow_datasets as tfds
import tensorflow_ranking as tfr
# Prep data
ds = tfds.load("mslr_web/10k_fold1", split="train")
ds = ds.map(lambda feature_map: {
"_mask": tf.ones_like(feature_map["label"], dtype=tf.bool),
**feature_map
})
ds = ds.shuffle(buffer_size=1000).padded_batch(batch_size=32)
ds = ds.map(lambda feature_map: (
feature_map, tf.where(feature_map["_mask"], feature_map.pop("label"), -1.)))
# Create a model
inputs = {
name: tf.keras.Input(shape=(None, 1), dtype=tf.float32, name=name)
for name in ds.element_spec[0]
if name != "_mask"
}
norm_inputs = [tf.keras.layers.BatchNormalization()(x) for x in inputs.values()]
x = tf.concat(norm_inputs, axis=-1)
for layer_width in [128, 64, 32]:
x = tf.keras.layers.Dense(units=layer_width)(x)
x = tf.keras.layers.Activation(activation=tf.nn.relu)(x)
scores = tf.squeeze(tf.keras.layers.Dense(units=1)(x), axis=-1)
# Compile and train
model = tf.keras.Model(inputs=inputs, outputs=scores)
model.compile(
optimizer=tf.keras.optimizers.Adam(learning_rate=0.01),
loss=tfr.keras.losses.SoftmaxLoss(),
metrics=tfr.keras.metrics.get("ndcg", topn=5, name="NDCG@5"))
model.fit(ds, epochs=3)
Tensorflow classifica è una libreria open-source per lo sviluppo scalabile, neurali di apprendimento al rango modelli (LTR). Modelli Ranking sono tipicamente utilizzati nei sistemi di ricerca e di raccomandazione, ma sono stati anche applicati con successo in una vasta gamma di settori, tra cui la traduzione automatica , sistemi di dialogo di e-commerce , SAT risolutori , pianificazione intelligente della città , e anche la biologia computazionale.
Un modello di classificazione prende un elenco di elementi (pagine web, documenti, prodotti, film, ecc.) e genera un elenco in un ordine ottimizzato, come gli elementi più rilevanti in alto e gli elementi meno rilevanti in basso, di solito in risposta a una domanda dell'utente:
Questa libreria supporta le funzioni standard di perdita pointwise, pairwise e listwise per i modelli LTR. Inoltre, supporta una vasta gamma di metriche rango, tra cui Media reciproco Classifica (MRR) e normalizzato scontato cumulativo Guadagno (NDCG), in modo da poter valutare e confrontare questi approcci per il vostro compito classifica. La libreria Ranking fornisce anche funzioni per approcci di ranking avanzati che vengono ricercati, testati e costruiti dagli ingegneri di machine learning di Google.
Inizia con la libreria Ranking tensorflow verificando l' esercitazione . Per ulteriori informazioni sulle funzionalità della biblioteca leggendo la Panoramica Scopri il codice sorgente di tensorflow Ranking su GitHub .
