ai2dcaption

  • توضیحات :

این مجموعه داده در درجه اول مبتنی بر مجموعه داده AI2D است ( اینجا را ببینید).

برای فرآیند حاشیه نویسی مجموعه داده AI2D-Caption به بخش 4.1 مقاله ما مراجعه کنید.

تقسیم کنید نمونه ها
'auditor_llm_training_examples' 30
'gpt4v' 4903
'llava_15' 4902
'planner_llm_training_examples' 30
'test' 75
  • ساختار ویژگی :
FeaturesDict({
    'caption': Text(shape=(), dtype=string),
    'entities': Sequence({
        'bounds': BBoxFeature(shape=(4,), dtype=float32),
        'cat': ClassLabel(shape=(), dtype=int64, num_classes=10),
        'from': Text(shape=(), dtype=string),
        'id': Text(shape=(), dtype=string),
        'label': Text(shape=(), dtype=string),
        'to': Text(shape=(), dtype=string),
        'type': ClassLabel(shape=(), dtype=int64, num_classes=5),
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8, description=The image of the diagram.),
    'image_filename': Text(shape=(), dtype=string),
    'layout': ClassLabel(shape=(), dtype=int64, num_classes=7),
    'relationships': Sequence(Text(shape=(), dtype=string)),
    'topic': ClassLabel(shape=(), dtype=int64, num_classes=4),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D توضیحات
FeaturesDict
عنوان متن رشته
نهادها دنباله
نهادها/محدوده ها ویژگی BBox (4،) float32
موجودیت/گربه ClassLabel int64
نهادها/از متن رشته
نهادها / شناسه متن رشته
نهادها/برچسب متن رشته
نهادها/به متن رشته
نهادها/نوع ClassLabel int64
تصویر تصویر (هیچ، هیچ، 3) uint8 تصویر نمودار.
تصویر_فایل متن رشته نام فایل تصویر به عنوان مثال "1337.png"
طرح بندی ClassLabel int64
روابط دنباله (متن) (هیچ،) رشته
موضوع ClassLabel int64

تجسم

  • نقل قول :
@inproceedings{Zala2024DiagrammerGPT,
        author = {Abhay Zala and Han Lin and Jaemin Cho and Mohit Bansal},
        title = {DiagrammerGPT: Generating Open-Domain, Open-Platform Diagrams via LLM Planning},
        year = {2024},
        booktitle = {COLM},
}