שְׁנִינוּת

• תיאור :

ערכת נתונים מבוססת ויקיפדיה (WIT) היא מערך נתונים רב-לשוני רב-מודאלי. WIT מורכב מקבוצה אוצרת של 37.6 מיליון דוגמאות טקסט עשירות בתמונה עם 11.5 מיליון תמונות ייחודיות ב-108 שפות ויקיפדיה. גודלו מאפשר להשתמש ב-WIT כמערך אימון מקדים עבור מודלים של למידת מכונה רב-מודאלית.

• תיעוד נוסף : חקור על ניירות עם קוד

• דף הבית : https://github.com/google-research-datasets/wit/

• קוד מקור : tfds.vision_language.wit.Wit

• גרסאות :

  • 1.0.0 : שחרור ראשוני. הוא טוען את מערך הנתונים של WIT מ https://storage.googleapis.com/gresearch/wit/
  • 1.1.0 (ברירת מחדל): נוספו val ערך test .

• גודל הורדה : 25.20 GiB

• גודל מערך נתונים : 81.17 GiB

• שמירה אוטומטית במטמון ( תיעוד ): לא

• פיצולים :

לְפַצֵל	דוגמאות
'test'	210,166
'train'	37,046,386
'val'	261,024

• מבנה תכונה :

FeaturesDict({
    'attribution_passes_lang_id': bool,
    'caption_alt_text_description': Text(shape=(), dtype=string),
    'caption_attribution_description': Text(shape=(), dtype=string),
    'caption_reference_description': Text(shape=(), dtype=string),
    'context_page_description': Text(shape=(), dtype=string),
    'context_section_description': Text(shape=(), dtype=string),
    'hierarchical_section_title': Text(shape=(), dtype=string),
    'image_url': Text(shape=(), dtype=string),
    'is_main_image': bool,
    'language': Text(shape=(), dtype=string),
    'mime_type': Text(shape=(), dtype=string),
    'original_height': int32,
    'original_width': int32,
    'page_changed_recently': bool,
    'page_title': Text(shape=(), dtype=string),
    'page_url': Text(shape=(), dtype=string),
    'section_title': Text(shape=(), dtype=string),
})

• תיעוד תכונה :

תכונה	מעמד	צוּרָה	Dtype	תיאור
	FeaturesDict
attribution_passes_lang_id	מוֹתֵחַ		bool
caption_alt_text_description	טֶקסט		חוּט
caption_attribution_description	טֶקסט		חוּט
caption_reference_description	טֶקסט		חוּט
context_page_description	טֶקסט		חוּט
context_section_description	טֶקסט		חוּט
hierarchical_section_title	טֶקסט		חוּט
כתובת אתר של תמונה	טֶקסט		חוּט
is_main_image	מוֹתֵחַ		bool
שפה	טֶקסט		חוּט
סוג_מימה	טֶקסט		חוּט
גובה_מקורי	מוֹתֵחַ		int32
רוחב_מקורי	מוֹתֵחַ		int32
דף_שונה_לאחרונה	מוֹתֵחַ		bool
כותרת העמוד	טֶקסט		חוּט
page_url	טֶקסט		חוּט
section_title	טֶקסט		חוּט

• מפתחות בפיקוח (ראה as_supervised doc ): None

• איור ( tfds.show_examples ): לא נתמך.

• דוגמאות ( tfds.as_dataframe ):

• ציטוט :

@article{srinivasan2021wit,
  title={WIT: Wikipedia-based Image Text Dataset for Multimodal Multilingual Machine Learning},
  author={Srinivasan, Krishna and Raman, Karthik and Chen, Jiecao and Bendersky, Michael and Najork, Marc},
  journal={arXiv preprint arXiv:2103.01913},
  year={2021}
}