TFDS CLI

TFDS CLI is a command-line tool that provides various commands to easily work with TensorFlow Datasets.

TensorFlow.org で表示 Google Colab で実行 GitHub でソースを表示 ノートブックをダウンロード
インポート時に TF ログを無効にする
%%capture
%env TF_CPP_MIN_LOG_LEVEL=1  # Disable logs on TF import

インストール

CLI ツールは、tensorflow-datasets（または tfds-nightly）を使ってインストールします。

pip install -q tfds-nightly
tfds --version

すべての CLI コマンドをリスト表示するには、以下のようにします。

tfds --help

tfds new: 新しい Dataset を実装する

このコマンドを使うと、デフォルトの実装ファイルを含む <dataset_name>/ ディレクトリを作成して、新しい Python データセットをすぐに記述できるようになります。

使用法：

tfds new my_dataset

tfds new my_dataset は以下を作成します。

ls -1 my_dataset/

オプションのフラグ --data_format は、フォーマット固有のデータセットビルダー（conll）を生成するために使用できます。データ形式が指定されていない場合は、標準の tfds.core.GeneratorBasedBuilder 用のテンプレートを生成します。使用可能な形式固有のデータセットビルダーについての詳細は、ドキュメントをご覧ください。

See our writing dataset guide for more info.

以下のようにして、使用できるオプションを表示します。

tfds new --help

tfds build: データセットをダウンロードして準備する

新しいデータセットを生成するには、tfds build <my_dataset> を使用します。<my_dataset> には、以下を使用します。

  • dataset/ フォルダまたは dataset.py ファイルへのパス（現在のディレクトリの場合は空）:

    • tfds build datasets/my_dataset/
    • cd datasets/my_dataset/ && tfds build
    • cd datasets/my_dataset/ && tfds build my_dataset
    • cd datasets/my_dataset/ && tfds build my_dataset.py

  • 登録済みのデータセット:

    • tfds build mnist
    • tfds build my_dataset --imports my_project.datasets

注意: tfds build には、プロトタイピングとデバッグを支援する有用なフラグがあります。以下の「デバッグとテスト」セクションをご覧ください。

以下のようにして、使用できるオプションを表示します。

tfds build --help