salient_span_wikipedia

  • Описание :

Предложения Википедии с помеченными выступающими интервалами.

@article{guu2020realm,
    title={REALM: Retrieval-Augmented Language Model Pre-Training},
    author={Kelvin Guu and Kenton Lee and Zora Tung and Panupong Pasupat and Ming-Wei Chang},
    year={2020},
    journal = {arXiv e-prints},
    archivePrefix = {arXiv},
    eprint={2002.08909},
}

salient_span_wikipedia/sentences (конфигурация по умолчанию)

  • Описание конфигурации : примеры — это отдельные предложения, содержащие сущности.

  • Размер набора данных : 20.57 GiB

  • Сплиты :

Расколоть Примеры
'train' 82 291 706
  • Структура функции :
FeaturesDict({
    'spans': Sequence({
        'limit': tf.int32,
        'start': tf.int32,
        'type': tf.string,
    }),
    'text': Text(shape=(), dtype=tf.string),
    'title': Text(shape=(), dtype=tf.string),
})
  • Документация по функциям :
Особенность Учебный класс Форма Dтип Описание
ОсобенностиDict
охватывает Последовательность
диапазоны/ограничения Тензор tf.int32
пролеты/начало Тензор tf.int32
пролеты/тип Тензор tf.string
текст Текст tf.string
заглавие Текст tf.string

salient_span_wikipedia/документы

  • Описание конфигурации : Примеры полных документов.

  • Размер набора данных : 16.52 GiB

  • Сплиты :

Расколоть Примеры
'train' 13 353 718
  • Структура функции :
FeaturesDict({
    'sentences': Sequence({
        'limit': tf.int32,
        'start': tf.int32,
    }),
    'spans': Sequence({
        'limit': tf.int32,
        'start': tf.int32,
        'type': tf.string,
    }),
    'text': Text(shape=(), dtype=tf.string),
    'title': Text(shape=(), dtype=tf.string),
})
  • Документация по функциям :
Особенность Учебный класс Форма Dтип Описание
ОсобенностиDict
фразы Последовательность
предложения/лимит Тензор tf.int32
предложения/начало Тензор tf.int32
охватывает Последовательность
диапазоны/ограничения Тензор tf.int32
пролеты/начало Тензор tf.int32
пролеты/тип Тензор tf.string
текст Текст tf.string
заглавие Текст tf.string