シススコア,シスコア

SI-Score (Synthetic Interventions on Scenes for Robustness Evaluation) は、オブジェクトのサイズ、位置、回転角度の変化に対する画像分類モデルのロバスト性を評価するためのデータセットです。

SI-SCORE では、オブジェクトと背景を取得し、オブジェクトのサイズ、位置、回転角度を体系的に変化させて、これらの要因の変更がモデルのパフォーマンスに与える影響を調査できるようにします。イメージ ラベル スペースは、モデルの評価を容易にするための ImageNet ラベル スペース (1k クラス) です。

データセットの詳細については、 https://github.com/google-research/si-scoreをご覧ください。

FeaturesDict({
    'dataset_label': ClassLabel(shape=(), dtype=int64, num_classes=1000),
    'image': Image(shape=(None, None, 3), dtype=uint8),
    'image_id': int64,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=1000),
})
  • 機能のドキュメント:
特徴クラスDtype説明
特徴辞書
データセット ラベルクラスラベルint64
画像画像(なし、なし、3) uint8
image_idテンソルint64
ラベルクラスラベルint64
@misc{djolonga2020robustness,
      title={On Robustness and Transferability of Convolutional Neural Networks},
      author={Josip Djolonga and Jessica Yung and Michael Tschannen and Rob Romijnders and Lucas Beyer and Alexander Kolesnikov and Joan Puigcerver and Matthias Minderer and Alexander D'Amour and Dan Moldovan and Sylvain Gelly and Neil Houlsby and Xiaohua Zhai and Mario Lucic},
      year={2020},
      eprint={2007.08558},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

siscore/rotation (デフォルト構成)

  • 構成の説明: 変動要因: 回転

  • ダウンロードサイズ: 1.40 GiB

  • データセットサイズ: 1.40 GiB

  • スプリット:

スプリット
'test' 39,540

視覚化

スコア/サイズ

  • 構成の説明: 変動要因: サイズ

  • ダウンロードサイズ: 3.25 GiB

  • データセットサイズ: 3.27 GiB

  • スプリット:

スプリット
'test' 92,884

視覚化

スコア/場所

  • 構成の説明: 変動要因: 場所

  • ダウンロードサイズ: 18.21 GiB

  • データセットサイズ: 18.31 GiB

  • スプリット:

スプリット
'test' 541,548

視覚化