Modelos escalables de aprendizaje neuronal para clasificar (LTR),Modelos escalables de aprendizaje neuronal para clasificar (LTR)

import tensorflow as tf
import tensorflow_datasets as tfds
import tensorflow_ranking as tfr

# Prep data
ds = tfds.load("mslr_web/10k_fold1", split="train")
ds = ds.map(lambda feature_map: {
    "_mask": tf.ones_like(feature_map["label"], dtype=tf.bool),
    **feature_map
})
ds = ds.shuffle(buffer_size=1000).padded_batch(batch_size=32)
ds = ds.map(lambda feature_map: (
    feature_map, tf.where(feature_map["_mask"], feature_map.pop("label"), -1.)))

# Create a model
inputs = {
    "float_features": tf.keras.Input(shape=(None, 136), dtype=tf.float32)
}
norm_inputs = [tf.keras.layers.BatchNormalization()(x) for x in inputs.values()]
x = tf.concat(norm_inputs, axis=-1)
for layer_width in [128, 64, 32]:
  x = tf.keras.layers.Dense(units=layer_width)(x)
  x = tf.keras.layers.Activation(activation=tf.nn.relu)(x)
scores = tf.squeeze(tf.keras.layers.Dense(units=1)(x), axis=-1)

# Compile and train
model = tf.keras.Model(inputs=inputs, outputs=scores)
model.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=0.01),
    loss=tfr.keras.losses.SoftmaxLoss(),
    metrics=tfr.keras.metrics.get("ndcg", topn=5, name="NDCG@5"))
model.fit(ds, epochs=3)

TensorFlow Ranking es una biblioteca de código abierto para desarrollar modelos escalables de aprendizaje neuronal para clasificar (LTR). Los modelos de clasificación se utilizan normalmente en sistemas de búsqueda y recomendación, pero también se han aplicado con éxito en una amplia variedad de campos, incluida la traducción automática , el comercio electrónico de sistemas de diálogo , los solucionadores de SAT , la planificación de ciudades inteligentes e incluso la biología computacional.

Un modelo de clasificación toma una lista de elementos (páginas web, documentos, productos, películas, etc.) y genera una lista en un orden optimizado, como los elementos más relevantes en la parte superior y los elementos menos relevantes en la parte inferior, generalmente en respuesta a una consulta de usuario:

Esta biblioteca admite funciones de pérdida estándar por puntos, por pares y por listas para modelos LTR. También es compatible con una amplia gama de métricas de clasificación, incluida la clasificación recíproca media (MRR) y la ganancia acumulativa descontada normalizada (NDCG), para que pueda evaluar y comparar estos enfoques para su tarea de clasificación. La biblioteca de clasificación también proporciona funciones para enfoques de clasificación mejorados que son investigados, probados y creados por ingenieros de aprendizaje automático en Google.

Comience con la biblioteca TensorFlow Ranking consultando el tutorial . Obtenga más información sobre las capacidades de la biblioteca leyendo la Descripción general Consulte el código fuente de TensorFlow Ranking en GitHub .