שְׁנִינוּת

  • תיאור :

ערכת נתונים מבוססת ויקיפדיה (WIT) היא מערך נתונים רב-לשוני רב-מודאלי. WIT מורכב מקבוצה אוצרת של 37.6 מיליון דוגמאות טקסט עשירות בתמונה עם 11.5 מיליון תמונות ייחודיות ב-108 שפות ויקיפדיה. גודלו מאפשר להשתמש ב-WIT כמערך אימון מקדים עבור מודלים של למידת מכונה רב-מודאלית.

לְפַצֵל דוגמאות
'test' 210,166
'train' 37,046,386
'val' 261,024
  • מבנה תכונה :
FeaturesDict({
    'attribution_passes_lang_id': bool,
    'caption_alt_text_description': Text(shape=(), dtype=string),
    'caption_attribution_description': Text(shape=(), dtype=string),
    'caption_reference_description': Text(shape=(), dtype=string),
    'context_page_description': Text(shape=(), dtype=string),
    'context_section_description': Text(shape=(), dtype=string),
    'hierarchical_section_title': Text(shape=(), dtype=string),
    'image_url': Text(shape=(), dtype=string),
    'is_main_image': bool,
    'language': Text(shape=(), dtype=string),
    'mime_type': Text(shape=(), dtype=string),
    'original_height': int32,
    'original_width': int32,
    'page_changed_recently': bool,
    'page_title': Text(shape=(), dtype=string),
    'page_url': Text(shape=(), dtype=string),
    'section_title': Text(shape=(), dtype=string),
})
  • תיעוד תכונה :
תכונה מעמד צוּרָה Dtype תיאור
FeaturesDict
attribution_passes_lang_id מוֹתֵחַ bool
caption_alt_text_description טֶקסט חוּט
caption_attribution_description טֶקסט חוּט
caption_reference_description טֶקסט חוּט
context_page_description טֶקסט חוּט
context_section_description טֶקסט חוּט
hierarchical_section_title טֶקסט חוּט
כתובת אתר של תמונה טֶקסט חוּט
is_main_image מוֹתֵחַ bool
שפה טֶקסט חוּט
סוג_מימה טֶקסט חוּט
גובה_מקורי מוֹתֵחַ int32
רוחב_מקורי מוֹתֵחַ int32
דף_שונה_לאחרונה מוֹתֵחַ bool
כותרת העמוד טֶקסט חוּט
page_url טֶקסט חוּט
section_title טֶקסט חוּט
  • ציטוט :
@article{srinivasan2021wit,
  title={WIT: Wikipedia-based Image Text Dataset for Multimodal Multilingual Machine Learning},
  author={Srinivasan, Krishna and Raman, Karthik and Chen, Jiecao and Bendersky, Michael and Najork, Marc},
  journal={arXiv preprint arXiv:2103.01913},
  year={2021}
}