- Descriptif :
Génération de titres sur un corpus de paires d'articles de Gigaword composé d'environ 4 millions d'articles. Utilisez les "org_data" fournies par https://github.com/microsoft/unilm/ qui sont identiques à https://github.com/harvardnlp/sent-summary mais avec un meilleur format.
Il existe deux fonctionnalités : - document : article. - résumé : titre.
Page d' accueil : https://github.com/harvardnlp/sent-summary
Code source :
tfds.summarization.GigawordVersions :
-
1.2.0(par défaut) : aucune note de version.
-
Taille du téléchargement :
551.61 MiBTaille du jeu de données :
1.02 GiBMise en cache automatique ( documentation ): Non
Fractionnements :
| Diviser | Exemples |
|---|---|
'test' | 1 951 |
'train' | 3 803 957 |
'validation' | 189 651 |
- Structure des fonctionnalités :
FeaturesDict({
'document': Text(shape=(), dtype=string),
'summary': Text(shape=(), dtype=string),
})
- Documentation des fonctionnalités :
| Caractéristique | Classer | Forme | Dtype | La description |
|---|---|---|---|---|
| FonctionnalitésDict | ||||
| document | Texte | chaîne de caractères | ||
| sommaire | Texte | chaîne de caractères |
Clés supervisées (Voir
as_superviseddoc ):('document', 'summary')Figure ( tfds.show_examples ) : non pris en charge.
Exemples ( tfds.as_dataframe ):
- Citation :
@article{graff2003english,
title={English gigaword},
author={Graff, David and Kong, Junbo and Chen, Ke and Maeda, Kazuaki},
journal={Linguistic Data Consortium, Philadelphia},
volume={4},
number={1},
pages={34},
year={2003}
}
@article{Rush_2015,
title={A Neural Attention Model for Abstractive Sentence Summarization},
url={http://dx.doi.org/10.18653/v1/D15-1044},
DOI={10.18653/v1/d15-1044},
journal={Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing},
publisher={Association for Computational Linguistics},
author={Rush, Alexander M. and Chopra, Sumit and Weston, Jason},
year={2015}
}