остроумие

  • Описание :

Набор данных Image Text (WIT) на основе Википедии представляет собой большой мультимодальный многоязычный набор данных. WIT состоит из тщательно подобранного набора из 37,6 миллионов примеров изображения и текста с богатым содержанием сущностей с 11,5 миллионами уникальных изображений на 108 языках Википедии. Его размер позволяет использовать WIT в качестве набора данных для предварительной подготовки мультимодальных моделей машинного обучения.

Расколоть Примеры
'test' 210 166
'train' 37 046 386
'val' 261 024
  • Структура функции :
FeaturesDict({
    'attribution_passes_lang_id': tf.bool,
    'caption_alt_text_description': Text(shape=(), dtype=tf.string),
    'caption_attribution_description': Text(shape=(), dtype=tf.string),
    'caption_reference_description': Text(shape=(), dtype=tf.string),
    'context_page_description': Text(shape=(), dtype=tf.string),
    'context_section_description': Text(shape=(), dtype=tf.string),
    'hierarchical_section_title': Text(shape=(), dtype=tf.string),
    'image_url': Text(shape=(), dtype=tf.string),
    'is_main_image': tf.bool,
    'language': Text(shape=(), dtype=tf.string),
    'mime_type': Text(shape=(), dtype=tf.string),
    'original_height': tf.int32,
    'original_width': tf.int32,
    'page_changed_recently': tf.bool,
    'page_title': Text(shape=(), dtype=tf.string),
    'page_url': Text(shape=(), dtype=tf.string),
    'section_title': Text(shape=(), dtype=tf.string),
})
  • Документация по функциям :
Особенность Учебный класс Форма Dтип Описание
ОсобенностиDict
attribution_passes_lang_id Тензор tf.bool
caption_alt_text_description Текст tf.string
caption_attribution_description Текст tf.string
caption_reference_description Текст tf.string
context_page_description Текст tf.string
context_section_description Текст tf.string
иерархический_раздел_название Текст tf.string
URL изображения Текст tf.string
is_main_image Тензор tf.bool
язык Текст tf.string
mime_type Текст tf.string
original_height Тензор tf.int32
исходная_ширина Тензор tf.int32
page_changed_recently Тензор tf.bool
Заголовок страницы Текст tf.string
page_url Текст tf.string
section_title Текст tf.string
  • Цитата :
@article{srinivasan2021wit,
  title={WIT: Wikipedia-based Image Text Dataset for Multimodal Multilingual Machine Learning},
  author={Srinivasan, Krishna and Raman, Karthik and Chen, Jiecao and Bendersky, Michael and Najork, Marc},
  journal={arXiv preprint arXiv:2103.01913},
  year={2021}
}