- תיאור :
ערכת נתונים מבוססת ויקיפדיה (WIT) היא מערך נתונים רב-לשוני רב-מודאלי. WIT מורכב מקבוצה אוצרת של 37.6 מיליון דוגמאות טקסט עשירות בתמונה עם 11.5 מיליון תמונות ייחודיות ב-108 שפות ויקיפדיה. גודלו מאפשר להשתמש ב-WIT כמערך אימון מקדים עבור מודלים של למידת מכונה רב-מודאלית.
תיעוד נוסף : חקור על ניירות עם קוד
קוד מקור :
tfds.vision_language.wit.Wit
גרסאות :
-
1.0.0
: שחרור ראשוני. הוא טוען את מערך הנתונים של WIT מ https://storage.googleapis.com/gresearch/wit/ -
1.1.0
(ברירת מחדל): נוספוval
ערךtest
.
-
גודל הורדה :
25.20 GiB
גודל מערך נתונים :
81.17 GiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'test' | 210,166 |
'train' | 37,046,386 |
'val' | 261,024 |
- מבנה תכונה :
FeaturesDict({
'attribution_passes_lang_id': bool,
'caption_alt_text_description': Text(shape=(), dtype=string),
'caption_attribution_description': Text(shape=(), dtype=string),
'caption_reference_description': Text(shape=(), dtype=string),
'context_page_description': Text(shape=(), dtype=string),
'context_section_description': Text(shape=(), dtype=string),
'hierarchical_section_title': Text(shape=(), dtype=string),
'image_url': Text(shape=(), dtype=string),
'is_main_image': bool,
'language': Text(shape=(), dtype=string),
'mime_type': Text(shape=(), dtype=string),
'original_height': int32,
'original_width': int32,
'page_changed_recently': bool,
'page_title': Text(shape=(), dtype=string),
'page_url': Text(shape=(), dtype=string),
'section_title': Text(shape=(), dtype=string),
})
- תיעוד תכונה :
תכונה | מעמד | צוּרָה | Dtype | תיאור |
---|---|---|---|---|
FeaturesDict | ||||
attribution_passes_lang_id | מוֹתֵחַ | bool | ||
caption_alt_text_description | טֶקסט | חוּט | ||
caption_attribution_description | טֶקסט | חוּט | ||
caption_reference_description | טֶקסט | חוּט | ||
context_page_description | טֶקסט | חוּט | ||
context_section_description | טֶקסט | חוּט | ||
hierarchical_section_title | טֶקסט | חוּט | ||
כתובת אתר של תמונה | טֶקסט | חוּט | ||
is_main_image | מוֹתֵחַ | bool | ||
שפה | טֶקסט | חוּט | ||
סוג_מימה | טֶקסט | חוּט | ||
גובה_מקורי | מוֹתֵחַ | int32 | ||
רוחב_מקורי | מוֹתֵחַ | int32 | ||
דף_שונה_לאחרונה | מוֹתֵחַ | bool | ||
כותרת העמוד | טֶקסט | חוּט | ||
page_url | טֶקסט | חוּט | ||
section_title | טֶקסט | חוּט |
מפתחות בפיקוח (ראה
as_supervised
doc ):None
איור ( tfds.show_examples ): לא נתמך.
דוגמאות ( tfds.as_dataframe ):
- ציטוט :
@article{srinivasan2021wit,
title={WIT: Wikipedia-based Image Text Dataset for Multimodal Multilingual Machine Learning},
author={Srinivasan, Krishna and Raman, Karthik and Chen, Jiecao and Bendersky, Michael and Najork, Marc},
journal={arXiv preprint arXiv:2103.01913},
year={2021}
}