- opis :
Ponieważ wydajność systemu w istniejących testach porównawczych czytania ze zrozumieniem jest bliska lub przewyższająca wydajność człowieka, potrzebujemy nowego, twardego zestawu danych, który poprawi możliwości systemów w zakresie rzeczywistego czytania akapitów tekstu. DROP to stworzony przez społeczność, tworzony przez przeciwników test porównawczy 96 000 pytań, w którym system musi rozwiązać odniesienia w pytaniu, być może do wielu pozycji wejściowych, i wykonać na nich dyskretne operacje (takie jak dodawanie, liczenie lub sortowanie). Operacje te wymagają znacznie bardziej wszechstronnego zrozumienia treści akapitów niż było to konieczne w przypadku poprzednich zestawów danych.
Dodatkowa dokumentacja : Przeglądaj dokumenty z kodem na
Strona główna : https://allennlp.org/drop
Kod źródłowy :
tfds.text.drop.Drop
Wersje :
-
1.0.0
: Pierwsza wersja. -
2.0.0
(domyślnie): Dodaj wszystkie opcje odpowiedzi.
-
Rozmiar pliku do pobrania :
7.92 MiB
Rozmiar zestawu danych :
116.24 MiB
Automatyczne buforowanie ( dokumentacja ): Tak
Podziały :
Rozdzielać | Przykłady |
---|---|
'dev' | 9536 |
'train' | 77409 |
- Struktura funkcji :
FeaturesDict({
'answer': Text(shape=(), dtype=string),
'passage': Text(shape=(), dtype=string),
'query_id': Text(shape=(), dtype=string),
'question': Text(shape=(), dtype=string),
'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
odpowiadać | Tekst | strunowy | ||
przejście | Tekst | strunowy | ||
identyfikator_zapytania | Tekst | strunowy | ||
pytanie | Tekst | strunowy | ||
zatwierdzone_odpowiedzi | Sekwencja (tekst) | (Nic,) | strunowy |
Klucze nadzorowane (Zobacz dokument
as_supervised
):None
Rysunek ( tfds.show_examples ): Nieobsługiwany.
Przykłady ( tfds.as_dataframe ):
- Cytat :
@inproceedings{Dua2019DROP,
author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
title={ {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
booktitle={Proc. of NAACL},
year={2019}
}