- opis :
ASQA to pierwszy zestaw danych z odpowiedziami na pytania w długiej formie, który koncentruje się na niejednoznacznych pytaniach faktoidalnych. W odróżnieniu od poprzednich zestawów danych z długimi odpowiedziami, każde pytanie jest opatrzone zarówno długimi odpowiedziami, jak i wyodrębnionymi parami pytanie-odpowiedź, na które powinien odpowiadać wygenerowany fragment. Wygenerowana długa odpowiedź zostanie oceniona przy użyciu dokładności ROUGE i kontroli jakości. Pokazaliśmy, że te wskaźniki oceny dobrze korelują z ludzkim osądem. W tym repozytorium udostępniamy zestaw danych ASQA wraz z kodem oceny: <a href="https://github.com/google-research/language/tree/master/language/asqa">https://github.com/google-research/language/tree/master/language/asqa</a>
Strona główna : https://github.com/google-research/language/tree/master/language/asqa
Kod źródłowy :
tfds.datasets.asqa.Builder
Wersje :
-
1.0.0
(domyślnie): Wersja początkowa.
-
Rozmiar pliku do pobrania :
17.86 MiB
Rozmiar zestawu danych :
14.50 MiB
Automatyczne buforowanie ( dokumentacja ): Tak
Podziały :
Rozdzielać | Przykłady |
---|---|
'dev' | 948 |
'train' | 4353 |
- Struktura funkcji :
FeaturesDict({
'ambiguous_question': Text(shape=(), dtype=string),
'annotations': Sequence({
'knowledge': Sequence({
'content': Text(shape=(), dtype=string),
'wikipage': Text(shape=(), dtype=string),
}),
'long_answer': Text(shape=(), dtype=string),
}),
'qa_pairs': Sequence({
'context': Text(shape=(), dtype=string),
'question': Text(shape=(), dtype=string),
'short_answers': Sequence(Text(shape=(), dtype=string)),
'wikipage': Text(shape=(), dtype=string),
}),
'sample_id': int32,
'wikipages': Sequence({
'title': Text(shape=(), dtype=string),
'url': Text(shape=(), dtype=string),
}),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
dwuznaczne_pytanie | Tekst | strunowy | Jednoznaczne pytanie od AmbigQA. | |
adnotacje | Sekwencja | Długie odpowiedzi na niejednoznaczne pytanie skonstruowane przez adnotatorów ASQA. | ||
adnotacje/wiedza | Sekwencja | Lista dodatkowych elementów wiedzy. | ||
adnotacje/wiedza/treść | Tekst | strunowy | Fragment z Wikipedii. | |
adnotacje/wiedza/strona wiki | Tekst | strunowy | Tytuł strony Wikipedii, z której pochodzi fragment. | |
adnotacje/długa_odpowiedź | Tekst | strunowy | Adnotacja. | |
qa_pary | Sekwencja | Pary pytań i odpowiedzi z AmbigQA, które służą do ujednoznacznienia. | ||
qa_pary/kontekst | Tekst | strunowy | Dostarczono dodatkowy kontekst. | |
qa_pary/pytanie | Tekst | strunowy | ||
qa_pary/krótkie_odpowiedzi | Sekwencja (tekst) | (Nic,) | strunowy | Lista krótkich odpowiedzi z AmbigQA. |
qa_pairs/wikipage | Tekst | strunowy | Tytuł strony Wikipedii, z której zaczerpnięto dodatkowy kontekst. | |
identyfikator_próbki | Napinacz | int32 | ||
strony wiki | Sekwencja | Lista stron Wikipedii odwiedzonych przez adnotatorów AmbigQA. | ||
strony wiki/tytuł | Tekst | strunowy | Tytuł strony Wikipedii. | |
strony wiki/url | Tekst | strunowy | Link do strony Wikipedii. |
Klucze nadzorowane (Zobacz dokument
as_supervised
):None
Rysunek ( tfds.show_examples ): Nieobsługiwany.
Przykłady ( tfds.as_dataframe ):
- Cytat :
@misc{https://doi.org/10.48550/arxiv.2204.06092,
doi = {10.48550/ARXIV.2204.06092},
url = {https://arxiv.org/abs/2204.06092},
author = {Stelmakh, Ivan and Luan, Yi and Dhingra, Bhuwan and Chang, Ming-Wei},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {ASQA: Factoid Questions Meet Long-Form Answers},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org perpetual, non-exclusive license}
}