ai2dキャプション

  • 説明：

このデータセットは主に AI2D データセットに基づいています (ここを参照)。

AI2D-Caption データセットのアノテーション プロセスについては、論文のセクション 4.1を参照してください。

スプリット例
'auditor_llm_training_examples' 30
'gpt4v' 4,903
'llava_15' 4,902
'planner_llm_training_examples' 30
'test' 75
  • 機能の構造: 
FeaturesDict({
    'caption': Text(shape=(), dtype=string),
    'entities': Sequence({
        'bounds': BBoxFeature(shape=(4,), dtype=float32),
        'cat': ClassLabel(shape=(), dtype=int64, num_classes=10),
        'from': Text(shape=(), dtype=string),
        'id': Text(shape=(), dtype=string),
        'label': Text(shape=(), dtype=string),
        'to': Text(shape=(), dtype=string),
        'type': ClassLabel(shape=(), dtype=int64, num_classes=5),
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8, description=The image of the diagram.),
    'image_filename': Text(shape=(), dtype=string),
    'layout': ClassLabel(shape=(), dtype=int64, num_classes=7),
    'relationships': Sequence(Text(shape=(), dtype=string)),
    'topic': ClassLabel(shape=(), dtype=int64, num_classes=4),
})
  • 機能ドキュメント:
特徴クラス形Dタイプ説明
特徴辞書
キャプション文章弦
エンティティ順序
エンティティ/境界BBox機能(4,) float32
エンティティ/猫クラスラベルint64
エンティティ/から文章弦
エンティティ/ID文章弦
エンティティ/ラベル文章弦
エンティティ/宛先文章弦
エンティティ/タイプクラスラベルint64
画像画像(なし、なし、3) uint8ダイアグラムのイメージ。
画像ファイル名文章弦画像のファイル名。例: "1337.png"
レイアウトクラスラベルint64
人間関係シーケンス(テキスト) （なし、）弦
トピッククラスラベルint64

視覚化

  • 引用： 
@inproceedings{Zala2024DiagrammerGPT,
        author = {Abhay Zala and Han Lin and Jaemin Cho and Mohit Bansal},
        title = {DiagrammerGPT: Generating Open-Domain, Open-Platform Diagrams via LLM Planning},
        year = {2024},
        booktitle = {COLM},
}