Una operación que realiza actualizaciones de gradiente de tablas de incrustación.
El argumento de gradientes es una TensorList que tiene la misma longitud y formas que el valor de retorno de XlaRecvTPUEmbeddingActivations, pero contiene gradientes de la pérdida del modelo con respecto a las activaciones de incrustación. Las tablas de incrustación se actualizan a partir de estos gradientes a través del optimizador especificado en el protocolo TPUEmbeddingConfiguration proporcionado a tpu.initialize_system.
Métodos públicos
estático XlaSendTPUEmbeddingGradients |
Métodos Heredados
Métodos públicos
XlaSendTPUEmbeddingGradients estáticos públicos crear ( Ámbito de alcance, Iterable< Operando <Flotante>> gradientes, Iterable< Operando <Flotante>> tasas de aprendizaje, Operando <?> datos de deduplicación, Configuración de cadena)
Método de fábrica para crear una clase que envuelve una nueva operación XlaSendTPUEmbeddingGradients.
Parámetros
alcance | alcance actual |
---|---|
gradientes | Una TensorList de degradados con los que actualizar las tablas de incrustación. |
tasas de aprendizaje | Una TensorList de tasas de aprendizaje utilizadas para actualizar las tablas de incrustación a través del optimizador. La longitud de TensorList debe ser igual a la cantidad de etiquetas de índice de aprendizaje dinámico especificadas en el protocolo TPUEmbeddingConfiguration. |
datos de deduplicación | Un tensor con type=DT_VARIANT que contiene los datos de deduplicación. El tensor es una tupla anidada XLA que contiene N elementos (donde N es la proporción del número de incrustaciones a núcleos tensoriales por chip de TPU). Cada elemento de la tupla anidada es una tupla de tensores de rango 1. Cada tensor contiene índices (DT_UINT32) para incrustar la búsqueda en TensorCore o pesos (DT_FLOAT) para aplicar a la salida de la operación de incrustación de búsqueda. |
configuración | Proto de configuración de integración de TPU serializado. |
Devoluciones
- una nueva instancia de XlaSendTPUEmbeddingGradients