XlaSendTPUEmbeddingGradients

classe final pública XlaSendTPUEmbeddingGradients

Um op que executa atualizações de gradiente de tabelas de incorporação.

O argumento gradients é um TensorList com o mesmo comprimento e formas que o valor de retorno de XlaRecvTPUEmbeddingActivations, mas contém gradientes da perda do modelo em relação às ativações de incorporação. As tabelas de incorporação são atualizadas a partir desses gradientes por meio do otimizador especificado no protocolo TPUEmbeddingConfiguration fornecido a tpu.initialize_system.

Métodos públicos

static XlaSendTPUEmbeddingGradients
create ( Escopo do escopo, Iterable< Operando <Float>> gradientes, Iterable< Operando <Float>> learningRates, Operando <?> deduplicationData, String config)
Método de fábrica para criar uma classe envolvendo uma nova operação XlaSendTPUEmbeddingGradients.

Métodos Herdados

Métodos públicos

public static XlaSendTPUEmbeddingGradients create ( Escopo do escopo, Iterable< Operando <Float>> gradientes, Iterable< Operando <Float>> learningRates, Operand <?> deduplicationData, String config)

Método de fábrica para criar uma classe envolvendo uma nova operação XlaSendTPUEmbeddingGradients.

Parâmetros
alcance escopo atual
gradientes Um TensorList de gradientes para atualizar as tabelas de incorporação.
Taxas de aprendizagem Uma TensorList de taxas de aprendizado usadas para atualizar as tabelas de incorporação por meio do otimizador. O comprimento do TensorList deve ser igual ao número de tags de taxa de aprendizado dinâmica especificadas no protocolo TPUEmbeddingConfiguration.
dados de desduplicação Um tensor com type=DT_VARIANT contendo os dados de desduplicação. O tensor é uma tupla aninhada XLA contendo N elementos (onde N é a razão do número de incorporação para núcleos de tensor por chip TPU). Cada elemento da tupla aninhada é uma tupla de tensores de nível 1. Cada tensor contém índices (DT_UINT32) para pesquisa de incorporação no TensorCore ou pesos (DT_FLOAT) para aplicar à saída da operação de pesquisa de incorporação.
configuração Protocolo serializado de configuração TPUEmbedding.
Devoluções
  • uma nova instância de XlaSendTPUEmbeddingGradients