ai2dキャプション

注:このデータセットは最近追加されたもので、 tfds-nightlyパッケージでのみ使用できます。

• 説明：

このデータセットは主に AI2D データセットに基づいています (ここを参照)。

AI2D-Caption データセットのアノテーション プロセスについては、論文のセクション 4.1を参照してください。

• ホームページ: https://huggingface.co/datasets/abhayzala/AI2D-Caption

• ソースコード: tfds.datasets.ai2dcaption.Builder

• バージョン:

  • 1.0.0 (デフォルト): 初期リリース。

• ダウンロードサイズ: Unknown size

• データセットのサイズ: 2.01 GiB

• 自動キャッシュ(ドキュメント): いいえ

• 分割:

スプリット	例
'auditor_llm_training_examples'	30
'gpt4v'	4,903
'llava_15'	4,902
'planner_llm_training_examples'	30
'test'	75

• 機能の構造:

FeaturesDict({
    'caption': Text(shape=(), dtype=string),
    'entities': Sequence({
        'bounds': BBoxFeature(shape=(4,), dtype=float32),
        'cat': ClassLabel(shape=(), dtype=int64, num_classes=10),
        'from': Text(shape=(), dtype=string),
        'id': Text(shape=(), dtype=string),
        'label': Text(shape=(), dtype=string),
        'to': Text(shape=(), dtype=string),
        'type': ClassLabel(shape=(), dtype=int64, num_classes=5),
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8, description=The image of the diagram.),
    'image_filename': Text(shape=(), dtype=string),
    'layout': ClassLabel(shape=(), dtype=int64, num_classes=7),
    'relationships': Sequence(Text(shape=(), dtype=string)),
    'topic': ClassLabel(shape=(), dtype=int64, num_classes=4),
})

• 機能ドキュメント:

特徴	クラス	形	Dタイプ	説明
	特徴辞書
キャプション	文章		弦
エンティティ	順序
エンティティ/境界	BBox機能	(4,)	float32
エンティティ/猫	クラスラベル		int64
エンティティ/から	文章		弦
エンティティ/ID	文章		弦
エンティティ/ラベル	文章		弦
エンティティ/宛先	文章		弦
エンティティ/タイプ	クラスラベル		int64
画像	画像	(なし、なし、3)	uint8	ダイアグラムのイメージ。
画像ファイル名	文章		弦	画像のファイル名。例: "1337.png"
レイアウト	クラスラベル		int64
人間関係	シーケンス(テキスト)	（なし、）	弦
トピック	クラスラベル		int64

• 監視キー( as_supervised doc を参照): None

• 図( tfds.show_examples ):

• 例( tfds.as_dataframe ):

• 引用：

@inproceedings{Zala2024DiagrammerGPT,
        author = {Abhay Zala and Han Lin and Jaemin Cho and Mohit Bansal},
        title = {DiagrammerGPT: Generating Open-Domain, Open-Platform Diagrams via LLM Planning},
        year = {2024},
        booktitle = {COLM},
}