Компонент конвейераStatisticGen TFX генерирует статистику функций как по обучающим, так и по обслуживающим данным, которая может использоваться другими компонентами конвейера. СтатистикаGen использует Beam для масштабирования до больших наборов данных.
- Потребляет: наборы данных, созданные компонентом конвейера SampleGen.
- Выдает: статистику набора данных.
Проверка данныхStatisticGen и TensorFlow
СтатистикаGen широко использует проверку данных TensorFlow для генерации статистики из вашего набора данных.
Использование компонента StatsGen
Компонент конвейераStatisticGen обычно очень прост в развертывании и требует незначительной настройки. Типичный код выглядит так:
compute_eval_stats = StatisticsGen(
examples=example_gen.outputs['examples'],
name='compute-eval-stats'
)
Использование компонента StatsGen со схемой
При первом запуске конвейера выходные данные СтатистикаGen будут использоваться для вывода схемы. Однако при последующих запусках у вас может быть созданная вручную схема, содержащая дополнительную информацию о вашем наборе данных. Предоставляя эту схему вStatisticGen, TFDV может предоставить более полезную статистику на основе объявленных свойств вашего набора данных.
В этом параметре вы вызоветеStatisticsGen с курируемой схемой, которая была импортирована с помощью ImporterNode следующим образом:
user_schema_importer = Importer(
source_uri=user_schema_dir, # directory containing only schema text proto
artifact_type=standard_artifacts.Schema).with_id('schema_importer')
compute_eval_stats = StatisticsGen(
examples=example_gen.outputs['examples'],
schema=user_schema_importer.outputs['result'],
name='compute-eval-stats'
)
Создание курируемой схемы
Schema в TFX — это экземпляр прототипа Schema метаданных TensorFlow. Его можно составить в текстовом формате с нуля. Однако в качестве отправной точки проще использовать выведенную схему, созданную SchemaGen . После выполнения компонента SchemaGen схема будет расположена в корне конвейера по следующему пути:
<pipeline_root>/SchemaGen/schema/<artifact_id>/schema.pbtxt
Где <artifact_id> представляет собой уникальный идентификатор для этой версии схемы в MLMD. Затем этот прототип схемы можно изменить для передачи информации о наборе данных, которую невозможно достоверно вывести, что сделает выходные данные StatisticsGen более полезными, а проверку, выполняемую в компоненте ExampleValidator , более строгой.
Более подробную информацию можно найти в справочнике по APIStatisticsGen .