ai2dcaption

  • विवरण :

यह डेटासेट मुख्य रूप से AI2D डेटासेट पर आधारित है ( यहां देखें)।

AI2D-कैप्शन डेटासेट एनोटेशन प्रक्रिया के लिए हमारे पेपर का खंड 4.1 देखें।

विभाजित करना उदाहरण
'auditor_llm_training_examples' 30
'gpt4v' 4,903
'llava_15' 4,902
'planner_llm_training_examples' 30
'test' 75
  • फ़ीचर संरचना :
FeaturesDict({
    'caption': Text(shape=(), dtype=string),
    'entities': Sequence({
        'bounds': BBoxFeature(shape=(4,), dtype=float32),
        'cat': ClassLabel(shape=(), dtype=int64, num_classes=10),
        'from': Text(shape=(), dtype=string),
        'id': Text(shape=(), dtype=string),
        'label': Text(shape=(), dtype=string),
        'to': Text(shape=(), dtype=string),
        'type': ClassLabel(shape=(), dtype=int64, num_classes=5),
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8, description=The image of the diagram.),
    'image_filename': Text(shape=(), dtype=string),
    'layout': ClassLabel(shape=(), dtype=int64, num_classes=7),
    'relationships': Sequence(Text(shape=(), dtype=string)),
    'topic': ClassLabel(shape=(), dtype=int64, num_classes=4),
})
  • फ़ीचर दस्तावेज़ीकरण :
विशेषता कक्षा आकार डीप्रकार विवरण
फीचर्सडिक्ट
कैप्शन मूलपाठ डोरी
इकाइयां, अनुक्रम
संस्थाएँ/सीमाएँ बीबॉक्सफ़ीचर (4,) फ्लोट32
संस्थाएँ/बिल्ली क्लास लेबल int64
संस्थाएं/से मूलपाठ डोरी
संस्थाएं/आईडी मूलपाठ डोरी
संस्थाएँ/लेबल मूलपाठ डोरी
संस्थाएं/से मूलपाठ डोरी
संस्थाएँ/प्रकार क्लास लेबल int64
छवि छवि (कोई नहीं, कोई नहीं, 3) uint8 आरेख की छवि.
छवि_फ़ाइलनाम मूलपाठ डोरी छवि फ़ाइल नाम. उदाहरण के लिए "1337.png"
लेआउट क्लास लेबल int64
रिश्ते अनुक्रम(पाठ) (कोई नहीं,) डोरी
विषय क्लास लेबल int64

VISUALIZATION

  • उद्धरण :
@inproceedings{Zala2024DiagrammerGPT,
        author = {Abhay Zala and Han Lin and Jaemin Cho and Mohit Bansal},
        title = {DiagrammerGPT: Generating Open-Domain, Open-Platform Diagrams via LLM Planning},
        year = {2024},
        booktitle = {COLM},
}