CrossReplicaSum

clase final pública CrossReplicaSum

Una operación para sumar entradas entre instancias de TPU replicadas.

Cada instancia proporciona su propia entrada.

Por ejemplo, supongamos que hay 8 instancias de TPU: `[A, B, C, D, E, F, G, H]`. Al pasar group_assignment=`[[0,2,4,6],[1,3,5,7]]` se establece `A, C, E, G` como grupo 0 y `B, D, F, H` como grupo 1. Así obtenemos las salidas: `[A+C+E+G, B+D+F+H, A+C+E+G, B+D+F+H, A+C+E+ G, B+D+F+H, A+C+E+G, B+D+F+H]`.

Constantes

Cadena OP_NOMBRE El nombre de esta operación, como lo conoce el motor central de TensorFlow.

Métodos públicos

Salida <T>
como salida ()
Devuelve el identificador simbólico del tensor.
estático <T extiende TNumber > CrossReplicaSum <T>
crear (alcance alcance , entrada Operando <T>, Operando <TInt32> groupAssignment)
Método de fábrica para crear una clase que envuelve una nueva operación CrossReplicaSum.
Salida <T>
producción ()
La suma de todas las entradas distribuidas.

Métodos heredados

Constantes

Cadena final estática pública OP_NAME

El nombre de esta operación, como lo conoce el motor central de TensorFlow.

Valor constante: "CrossReplicaSum"

Métodos públicos

Salida pública <T> como Salida ()

Devuelve el identificador simbólico del tensor.

Las entradas a las operaciones de TensorFlow son salidas de otra operación de TensorFlow. Este método se utiliza para obtener un identificador simbólico que representa el cálculo de la entrada.

creación pública estática CrossReplicaSum <T> (alcance alcance , entrada operando <T>, operando <TInt32> groupAssignment)

Método de fábrica para crear una clase que envuelve una nueva operación CrossReplicaSum.

Parámetros
alcance alcance actual
aporte La entrada local a la suma.
asignación grupal Un tensor int32 con forma [num_groups, num_replicas_per_group]. `group_assignment[i]` representa los identificadores de réplica en el subgrupo i.
Devoluciones
  • una nueva instancia de CrossReplicaSum

Salida pública <T> salida ()

La suma de todas las entradas distribuidas.