El componente Tuner ajusta los hiperparámetros del modelo.
Componente Tuner y biblioteca KerasTuner
El componente Tuner hace un uso extensivo de la API Python KerasTuner para ajustar los hiperparámetros.
Componente
El sintonizador toma:
- tf.Ejemplos utilizados para entrenamiento y evaluación.
- Un archivo de módulo proporcionado por el usuario (o módulo fn) que define la lógica de ajuste, incluida la definición del modelo, el espacio de búsqueda de hiperparámetros, el objetivo, etc.
- Definición de Protobuf de argumentos de tren y argumentos de evaluación.
- (Opcional) Definición de Protobuf de argumentos de ajuste.
- (Opcional) gráfico de transformación producido por un componente Transform ascendente.
- (Opcional) Un esquema de datos creado por un componente de canalización de SchemaGen y, opcionalmente, modificado por el desarrollador.
Con los datos, el modelo y el objetivo proporcionados, Tuner ajusta los hiperparámetros y emite el mejor resultado.
Instrucciones
Se requiere una función de módulo de usuario tuner_fn con la siguiente firma para Tuner:
...
from keras_tuner.engine import base_tuner
TunerFnResult = NamedTuple('TunerFnResult', [('tuner', base_tuner.BaseTuner),
('fit_kwargs', Dict[Text, Any])])
def tuner_fn(fn_args: FnArgs) -> TunerFnResult:
"""Build the tuner using the KerasTuner API.
Args:
fn_args: Holds args as name/value pairs.
- working_dir: working dir for tuning.
- train_files: List of file paths containing training tf.Example data.
- eval_files: List of file paths containing eval tf.Example data.
- train_steps: number of train steps.
- eval_steps: number of eval steps.
- schema_path: optional schema of the input data.
- transform_graph_path: optional transform graph produced by TFT.
Returns:
A namedtuple contains the following:
- tuner: A BaseTuner that will be used for tuning.
- fit_kwargs: Args to pass to tuner's run_trial function for fitting the
model , e.g., the training and validation dataset. Required
args depend on the above tuner's implementation.
"""
...
En esta función, usted define los espacios de búsqueda del modelo y del hiperparámetro, y elige el objetivo y el algoritmo para el ajuste. El componente Tuner toma el código de este módulo como entrada, ajusta los hiperparámetros y emite el mejor resultado.
Trainer puede tomar los hiperparámetros de salida de Tuner como entrada y utilizarlos en el código de su módulo de usuario. La definición de canalización se ve así:
...
tuner = Tuner(
module_file=module_file, # Contains `tuner_fn`.
examples=transform.outputs['transformed_examples'],
transform_graph=transform.outputs['transform_graph'],
train_args=trainer_pb2.TrainArgs(num_steps=20),
eval_args=trainer_pb2.EvalArgs(num_steps=5))
trainer = Trainer(
module_file=module_file, # Contains `run_fn`.
examples=transform.outputs['transformed_examples'],
transform_graph=transform.outputs['transform_graph'],
schema=schema_gen.outputs['schema'],
# This will be passed to `run_fn`.
hyperparameters=tuner.outputs['best_hyperparameters'],
train_args=trainer_pb2.TrainArgs(num_steps=100),
eval_args=trainer_pb2.EvalArgs(num_steps=5))
...
Es posible que no desee ajustar los hiperparámetros cada vez que vuelva a entrenar su modelo. Una vez que haya usado Tuner para determinar un buen conjunto de hiperparámetros, puede eliminar Tuner de su canalización y usar ImporterNode para importar el artefacto Tuner de una ejecución de entrenamiento anterior para alimentarlo a Trainer.
hparams_importer = Importer(
# This can be Tuner's output file or manually edited file. The file contains
# text format of hyperparameters (keras_tuner.HyperParameters.get_config())
source_uri='path/to/best_hyperparameters.txt',
artifact_type=HyperParameters,
).with_id('import_hparams')
trainer = Trainer(
...
# An alternative is directly use the tuned hyperparameters in Trainer's user
# module code and set hyperparameters to None here.
hyperparameters = hparams_importer.outputs['result'])
Sintonización en Google Cloud Platform (GCP)
Cuando se ejecuta en Google Cloud Platform (GCP), el componente Tuner puede aprovechar dos servicios:
- Visir de AI Platform (a través de la implementación de CloudTuner)
- Capacitación en AI Platform (como administrador de bandadas para ajuste distribuido)
AI Platform Vizier como backend del ajuste de hiperparámetros
AI Platform Vizier es un servicio administrado que realiza optimización de caja negra, basado en la tecnología Google Vizier .
CloudTuner es una implementación de KerasTuner que se comunica con el servicio AI Platform Vizier como backend del estudio. Dado que CloudTuner es una subclase de keras_tuner.Tuner , puede usarse como reemplazo directo en el módulo tuner_fn y ejecutarse como parte del componente TFX Tuner.
A continuación se muestra un fragmento de código que muestra cómo utilizar CloudTuner . Tenga en cuenta que la configuración de CloudTuner requiere elementos que son específicos de GCP, como project_id y region .
...
from tensorflow_cloud import CloudTuner
...
def tuner_fn(fn_args: FnArgs) -> TunerFnResult:
"""An implementation of tuner_fn that instantiates CloudTuner."""
...
tuner = CloudTuner(
_build_model,
hyperparameters=...,
...
project_id=..., # GCP Project ID
region=..., # GCP Region where Vizier service is run.
)
...
return TuneFnResult(
tuner=tuner,
fit_kwargs={...}
)
Ajuste paralelo en Cloud AI Platform Capacitación en bandada de trabajadores distribuidos
El marco KerasTuner como implementación subyacente del componente Tuner tiene la capacidad de realizar búsquedas de hiperparámetros en paralelo. Si bien el componente Tuner estándar no tiene la capacidad de ejecutar más de un trabajador de búsqueda en paralelo, al utilizar el componente Tuner de extensión de Google Cloud AI Platform , brinda la capacidad de ejecutar ajustes en paralelo, utilizando un trabajo de capacitación de AI Platform como una bandada de trabajadores distribuidos. gerente. TuneArgs es la configuración dada a este componente. Este es un reemplazo directo del componente Tuner original.
tuner = google_cloud_ai_platform.Tuner(
... # Same kwargs as the above stock Tuner component.
tune_args=proto.TuneArgs(num_parallel_trials=3), # 3-worker parallel
custom_config={
# Configures Cloud AI Platform-specific configs . For for details, see
# https://cloud.google.com/ai-platform/training/docs/reference/rest/v1/projects.jobs#traininginput.
TUNING_ARGS_KEY:
{
'project': ...,
'region': ...,
# Configuration of machines for each master/worker in the flock.
'masterConfig': ...,
'workerConfig': ...,
...
}
})
...
El comportamiento y la salida del componente Tuner de extensión es el mismo que el componente Tuner estándar, excepto que se ejecutan múltiples búsquedas de hiperparámetros en paralelo en diferentes máquinas de trabajo y, como resultado, num_trials se completará más rápido. Esto es particularmente efectivo cuando el algoritmo de búsqueda es vergonzosamente paralelizable, como RandomSearch . Sin embargo, si el algoritmo de búsqueda utiliza información de resultados de pruebas anteriores, como lo hace el algoritmo Google Vizier implementado en AI Platform Vizier, una búsqueda excesivamente paralela afectaría negativamente la eficacia de la búsqueda.
Campo de golf
Ejemplo de E2E CloudTuner en GCP
Más detalles están disponibles en la referencia de Tuner API .