- opis :
Generowanie nagłówków na korpusie par artykułów z Gigaword składającym się z około 4 milionów artykułów. Użyj „org_data” dostarczonego przez https://github.com/microsoft/unilm/ , który jest identyczny z https://github.com/harvardnlp/sent-summary , ale ma lepszy format.
Istnieją dwie funkcje: - dokument: artykuł. - podsumowanie: nagłówek.
Strona główna : https://github.com/harvardnlp/sent-summary
Kod źródłowy :
tfds.summarization.GigawordWersje :
-
1.2.0(domyślnie): Brak informacji o wersji.
-
Rozmiar pliku do pobrania :
551.61 MiBRozmiar zestawu danych :
1.02 GiBAutomatyczne buforowanie ( dokumentacja ): Nie
Podziały :
| Rozdzielać | Przykłady |
|---|---|
'test' | 1951 |
'train' | 3 803 957 |
'validation' | 189651 |
- Struktura funkcji :
FeaturesDict({
'document': Text(shape=(), dtype=string),
'summary': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
| Funkcja | Klasa | Kształt | Typ D | Opis |
|---|---|---|---|---|
| FunkcjeDict | ||||
| dokument | Tekst | strunowy | ||
| streszczenie | Tekst | strunowy |
Klucze nadzorowane (Patrz
as_superviseddoc ):('document', 'summary')Rysunek ( tfds.show_examples ): Nieobsługiwany.
Przykłady ( tfds.as_dataframe ):
- Cytat :
@article{graff2003english,
title={English gigaword},
author={Graff, David and Kong, Junbo and Chen, Ke and Maeda, Kazuaki},
journal={Linguistic Data Consortium, Philadelphia},
volume={4},
number={1},
pages={34},
year={2003}
}
@article{Rush_2015,
title={A Neural Attention Model for Abstractive Sentence Summarization},
url={http://dx.doi.org/10.18653/v1/D15-1044},
DOI={10.18653/v1/d15-1044},
journal={Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing},
publisher={Association for Computational Linguistics},
author={Rush, Alexander M. and Chopra, Sumit and Weston, Jason},
year={2015}
}