уронить

  • Описание:

Поскольку производительность системы по существующим тестам понимания прочитанного приближается к производительности человека или превосходит ее, нам нужен новый, надежный набор данных, который улучшает возможности системы по фактическому чтению абзацев текста. DROP - это краудсорсинговый, созданный противоборствующий тест, состоящий из 96 тысяч вопросов, в котором система должна разрешать ссылки в вопросе, возможно, на несколько входных позиций, и выполнять над ними дискретные операции (такие как сложение, подсчет или сортировка). Эти операции требуют гораздо более полного понимания содержания абзацев, чем то, что было необходимо для предыдущих наборов данных.

  • Домашняя страница: https://allennlp.org/drop

  • Исходный код: tfds.text.drop.Drop

  • Версии:

    • 1.0.0 : Первый выпуск.
    • 2.0.0 ( по умолчанию): Добавить все варианты ответов.
  • Скачать Размер: 7.92 MiB

  • Dataset Размер: 116.24 MiB

  • Авто-кэшируются ( документация ): Да

  • расколы:

Расколоть Примеры
'dev' 9 536
'train' 77 409
  • Особенности:
FeaturesDict({
    'answer': Text(shape=(), dtype=tf.string),
    'passage': Text(shape=(), dtype=tf.string),
    'query_id': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
    'validated_answers': Sequence(Text(shape=(), dtype=tf.string)),
})
  • Образец цитирования:
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}