gemme

• Descriptif :

GEM est un environnement de référence pour la génération de langage naturel avec un accent sur son évaluation, à la fois par des annotations humaines et des métriques automatisées.

GEM vise à : (1) mesurer les progrès de la NLG sur 13 ensembles de données couvrant de nombreuses tâches et langues de la NLG. (2) fournir une analyse approfondie des données et des modèles présentés via des déclarations de données et des ensembles de défis. (3) développer des normes pour l'évaluation du texte généré en utilisant à la fois des mesures automatisées et humaines.

Plus d'informations peuvent être trouvées sur https://gem-benchmark.com .

• Documentation complémentaire : Explorer sur Papers With Code

• Page d' accueil : https://gem-benchmark.com

• Code source : tfds.text.gem.Gem

• Versions :

  • 1.0.0 : Version initiale
  • 1.0.1 : Mise à jour du filtre de mauvais liens pour MLSum
  • 1.1.0 (par défaut) : sortie des ensembles de défis

• Clés supervisées (Voir as_supervised doc ): None

• Figure ( tfds.show_examples ) : non pris en charge.

gem/common_gen (configuration par défaut)

• Description de la configuration : CommonGen est une tâche de génération de texte contrainte, associée à un ensemble de données de référence, pour tester explicitement les machines pour la capacité de raisonnement génératif de bon sens. Étant donné un ensemble de concepts communs ; la tâche consiste à générer une phrase cohérente décrivant un scénario quotidien à l'aide de ces concepts.

• Taille du téléchargement : 1.84 MiB

• Taille du jeu de données : 16.84 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'challenge_test_scramble'	500
'challenge_train_sample'	500
'challenge_validation_sample'	500
'test'	1 497
'train'	67 389
'validation'	993

• Structure des fonctionnalités :

FeaturesDict({
    'concept_set_id': int32,
    'concepts': Sequence(string),
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'target': string,
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
concept_set_id	Tenseur		int32
notions	Séquence (tenseur)	(Aucun,)	chaîne de caractères
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
cible	Tenseur		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{lin2020commongen,
  title = "CommonGen: A Constrained Text Generation Challenge for Generative Commonsense Reasoning",
  author = "Lin, Bill Yuchen  and
    Zhou, Wangchunshu  and
    Shen, Ming  and
    Zhou, Pei  and
    Bhagavatula, Chandra  and
    Choi, Yejin  and
    Ren, Xiang",
  booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
  month = nov,
  year = "2020",
  address = "Online",
  publisher = "Association for Computational Linguistics",
  url = "https://www.aclweb.org/anthology/2020.findings-emnlp.165",
  pages = "1823--1840",
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

joyau/cs_restaurants

• Description de la configuration : la tâche génère des réponses dans le cadre d'un système de dialogue (hypothétique) qui fournit des informations sur les restaurants. L'entrée est un type d'intention de base/d'acte de dialogue et une liste d'emplacements (attributs) et leurs valeurs. La sortie est une phrase en langage naturel.

• Taille du téléchargement : 1.46 MiB

• Taille du jeu de données : 2.71 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'challenge_test_scramble'	500
'challenge_train_sample'	500
'challenge_validation_sample'	500
'test'	842
'train'	3 569
'validation'	781

• Structure des fonctionnalités :

FeaturesDict({
    'dialog_act': string,
    'dialog_act_delexicalized': string,
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'target': string,
    'target_delexicalized': string,
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
dialog_act	Tenseur		chaîne de caractères
dialog_act_delexicalized	Tenseur		chaîne de caractères
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
cible	Tenseur		chaîne de caractères
target_delexicalized	Tenseur		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{cs_restaurants,
  address = {Tokyo, Japan},
  title = {Neural {Generation} for {Czech}: {Data} and {Baselines} },
  shorttitle = {Neural {Generation} for {Czech} },
  url = {https://www.aclweb.org/anthology/W19-8670/},
  urldate = {2019-10-18},
  booktitle = {Proceedings of the 12th {International} {Conference} on {Natural} {Language} {Generation} ({INLG} 2019)},
  author = {Dušek, Ondřej and Jurčíček, Filip},
  month = oct,
  year = {2019},
  pages = {563--574}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

gemme/dard

• Description de la configuration : DART est un vaste corpus de génération d'enregistrements de données en texte structuré en domaine ouvert avec des annotations de phrases de haute qualité, chaque entrée étant un ensemble de triplets entité-relation suivant une ontologie arborescente.

• Taille du téléchargement : 28.01 MiB

• Taille du jeu de données : 33.78 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'test'	6 959
'train'	62 659
'validation'	2 768

• Structure des fonctionnalités :

FeaturesDict({
    'dart_id': int32,
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'subtree_was_extended': bool,
    'target': string,
    'target_sources': Sequence(string),
    'tripleset': Sequence(string),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
dart_id	Tenseur		int32
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
subtree_was_extended	Tenseur		bourdonner
cible	Tenseur		chaîne de caractères
sources_cibles	Séquence (tenseur)	(Aucun,)	chaîne de caractères
triplet	Séquence (tenseur)	(Aucun,)	chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{radev2020dart,
  title=Dart: Open-domain structured data record to text generation,
  author={Radev, Dragomir and Zhang, Rui and Rau, Amrit and Sivaprasad, Abhinand and Hsieh, Chiachun and Rajani, Nazneen Fatema and Tang, Xiangru and Vyas, Aadit and Verma, Neha and Krishna, Pranav and others},
  journal={arXiv preprint arXiv:2007.02871},
  year={2020}
}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/e2e_nlg

• Description de la configuration : l'ensemble de données E2E est conçu pour une tâche de conversion de données en texte à domaine limité : génération de descriptions/recommandations de restaurants basées sur jusqu'à 8 attributs différents (nom, zone, fourchette de prix, etc.)

• Taille du téléchargement : 13.99 MiB

• Taille du jeu de données : 16.92 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'challenge_test_scramble'	500
'challenge_train_sample'	500
'challenge_validation_sample'	500
'test'	4 693
'train'	33 525
'validation'	4 299

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'meaning_representation': string,
    'references': Sequence(string),
    'target': string,
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
signification_représentation	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
cible	Tenseur		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{e2e_cleaned,
  address = {Tokyo, Japan},
  title = {Semantic {Noise} {Matters} for {Neural} {Natural} {Language} {Generation} },
  url = {https://www.aclweb.org/anthology/W19-8652/},
  booktitle = {Proceedings of the 12th {International} {Conference} on {Natural} {Language} {Generation} ({INLG} 2019)},
  author = {Dušek, Ondřej and Howcroft, David M and Rieser, Verena},
  year = {2019},
  pages = {421--426},
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

gemme/mlsum_de

• Description de la configuration : MLSum est un jeu de données de synthèse multilingue à grande échelle. Il est construit à partir de médias en ligne, cette division se concentrant sur l'allemand.

• Taille du téléchargement : 345.98 MiB

• Taille du jeu de données : 963.60 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

Diviser	Exemples
'challenge_test_covid'	5 058
'challenge_train_sample'	500
'challenge_validation_sample'	500
'test'	10 695
'train'	220 748
'validation'	11 392

• Structure des fonctionnalités :

FeaturesDict({
    'date': string,
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'target': string,
    'text': string,
    'title': string,
    'topic': string,
    'url': string,
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
Date	Tenseur		chaîne de caractères
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
cible	Tenseur		chaîne de caractères
texte	Tenseur		chaîne de caractères
Titre	Tenseur		chaîne de caractères
sujet	Tenseur		chaîne de caractères
URL	Tenseur		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{scialom-etal-2020-mlsum,
    title = "{MLSUM}: The Multilingual Summarization Corpus",
    author = {Scialom, Thomas  and Dray, Paul-Alexis  and Lamprier, Sylvain  and Piwowarski, Benjamin  and Staiano, Jacopo},
    booktitle = {Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)},
    year = {2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

gem/mlsum_es

• Description de la configuration : MLSum est un jeu de données de synthèse multilingue à grande échelle. Il est construit à partir de médias en ligne, cette division se concentrant sur l'espagnol.

• Taille du téléchargement : 501.27 MiB

• Taille du jeu de données : 1.29 GiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

Diviser	Exemples
'challenge_test_covid'	1 938
'challenge_train_sample'	500
'challenge_validation_sample'	500
'test'	13 366
'train'	259 888
'validation'	9 977

• Structure des fonctionnalités :

FeaturesDict({
    'date': string,
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'target': string,
    'text': string,
    'title': string,
    'topic': string,
    'url': string,
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
Date	Tenseur		chaîne de caractères
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
cible	Tenseur		chaîne de caractères
texte	Tenseur		chaîne de caractères
Titre	Tenseur		chaîne de caractères
sujet	Tenseur		chaîne de caractères
URL	Tenseur		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{scialom-etal-2020-mlsum,
    title = "{MLSUM}: The Multilingual Summarization Corpus",
    author = {Scialom, Thomas  and Dray, Paul-Alexis  and Lamprier, Sylvain  and Piwowarski, Benjamin  and Staiano, Jacopo},
    booktitle = {Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)},
    year = {2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

gem/schema_guided_dialog

• Description de la configuration : l'ensemble de données Schema-Guided Dialogue (SGD) contient 18 000 dialogues orientés tâches multi-domaines entre un humain et un assistant virtuel, qui couvrent 17 domaines allant des banques et des événements aux médias, en passant par le calendrier, les voyages et la météo.

• Taille du téléchargement : 17.00 MiB

• Taille du jeu de données : 201.19 MiB

• Mise en cache automatique ( documentation ) : Oui (challenge_test_backtranslation, challenge_test_bfp02, challenge_test_bfp05, challenge_test_nopunc, challenge_test_scramble, challenge_train_sample, challenge_validation_sample, test, validation), uniquement lorsque shuffle_files=False (train)

• Fractionnements :

Diviser	Exemples
'challenge_test_backtranslation'	500
'challenge_test_bfp02'	500
'challenge_test_bfp05'	500
'challenge_test_nopunc'	500
'challenge_test_scramble'	500
'challenge_train_sample'	500
'challenge_validation_sample'	500
'test'	10 000
'train'	164 982
'validation'	10 000

• Structure des fonctionnalités :

FeaturesDict({
    'context': Sequence(string),
    'dialog_acts': Sequence({
        'act': ClassLabel(shape=(), dtype=int64, num_classes=18),
        'slot': string,
        'values': Sequence(string),
    }),
    'dialog_id': string,
    'gem_id': string,
    'gem_parent_id': string,
    'prompt': string,
    'references': Sequence(string),
    'service': string,
    'target': string,
    'turn_id': int32,
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
le contexte	Séquence (tenseur)	(Aucun,)	chaîne de caractères
dialog_acts	Séquence
dialog_acts/acte	Étiquette de classe		int64
dialog_acts/slot	Tenseur		chaîne de caractères
dialog_acts/valeurs	Séquence (tenseur)	(Aucun,)	chaîne de caractères
dialog_id	Tenseur		chaîne de caractères
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
rapide	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
service	Tenseur		chaîne de caractères
cible	Tenseur		chaîne de caractères
turn_id	Tenseur		int32

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{rastogi2019towards,
  title={Towards Scalable Multi-domain Conversational Agents: The Schema-Guided Dialogue Dataset},
  author={Rastogi, Abhinav and Zang, Xiaoxue and Sunkara, Srinivas and Gupta, Raghav and Khaitan, Pranav},
  journal={arXiv preprint arXiv:1909.05855},
  year={2019}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

gemme/totto

• Description de la configuration : ToTTo est une tâche NLG Table-to-Text. La tâche est la suivante : étant donné un tableau Wikipédia avec des noms de lignes, des noms de colonnes et des cellules de tableau, avec un sous-ensemble de cellules en surbrillance, générez une description en langage naturel pour la partie en surbrillance du tableau.

• Taille du téléchargement : 180.75 MiB

• Taille du jeu de données : 645.86 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

Diviser	Exemples
'challenge_test_scramble'	500
'challenge_train_sample'	500
'challenge_validation_sample'	500
'test'	7 700
'train'	121 153
'validation'	7 700

• Structure des fonctionnalités :

FeaturesDict({
    'example_id': string,
    'gem_id': string,
    'gem_parent_id': string,
    'highlighted_cells': Sequence(Sequence(int32)),
    'overlap_subset': string,
    'references': Sequence(string),
    'sentence_annotations': Sequence({
        'final_sentence': string,
        'original_sentence': string,
        'sentence_after_ambiguity': string,
        'sentence_after_deletion': string,
    }),
    'table': Sequence(Sequence({
        'column_span': int32,
        'is_header': bool,
        'row_span': int32,
        'value': string,
    })),
    'table_page_title': string,
    'table_section_text': string,
    'table_section_title': string,
    'table_webpage_url': string,
    'target': string,
    'totto_id': int32,
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
example_id	Tenseur		chaîne de caractères
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
cellules_en surbrillance	Séquence(Séquence(Tensor))	(Aucun, Aucun)	int32
chevauchement_sous-ensemble	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
phrase_annotations	Séquence
annotations_phrase/phrase_finale	Tenseur		chaîne de caractères
annotations_phrase/phrase_originale	Tenseur		chaîne de caractères
phrase_annotations/phrase_after_ambiguity	Tenseur		chaîne de caractères
phrase_annotations/phrase_after_deletion	Tenseur		chaîne de caractères
table	Séquence
table/column_span	Tenseur		int32
table/est_en-tête	Tenseur		bourdonner
table/row_span	Tenseur		int32
table/valeur	Tenseur		chaîne de caractères
table_page_title	Tenseur		chaîne de caractères
table_section_text	Tenseur		chaîne de caractères
table_section_title	Tenseur		chaîne de caractères
table_webpage_url	Tenseur		chaîne de caractères
cible	Tenseur		chaîne de caractères
toto_id	Tenseur		int32

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{parikh2020totto,
  title=ToTTo: A Controlled Table-To-Text Generation Dataset,
  author={Parikh, Ankur and Wang, Xuezhi and Gehrmann, Sebastian and Faruqui, Manaal and Dhingra, Bhuwan and Yang, Diyi and Das, Dipanjan},
  booktitle={Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)},
  pages={1173--1186},
  year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/web_nlg_fr

• Description de la configuration : WebNLG est un jeu de données bilingue (anglais, russe) de triples ensembles DBpedia parallèles et de textes courts qui couvrent environ 450 propriétés DBpedia différentes. Les données WebNLG ont été créées à l'origine pour promouvoir le développement de verbaliseurs RDF capables de générer des textes courts et de gérer la micro-planification.

• Taille du téléchargement : 12.57 MiB

• Taille du jeu de données : 19.91 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'challenge_test_numbers'	500
'challenge_test_scramble'	500
'challenge_train_sample'	502
'challenge_validation_sample'	499
'test'	1 779
'train'	35 426
'validation'	1 667

• Structure des fonctionnalités :

FeaturesDict({
    'category': string,
    'gem_id': string,
    'gem_parent_id': string,
    'input': Sequence(string),
    'references': Sequence(string),
    'target': string,
    'webnlg_id': string,
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
Catégorie	Tenseur		chaîne de caractères
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
saisir	Séquence (tenseur)	(Aucun,)	chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
cible	Tenseur		chaîne de caractères
webnlg_id	Tenseur		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{gardent2017creating,
  author = "Gardent, Claire
    and Shimorina, Anastasia
    and Narayan, Shashi
    and Perez-Beltrachini, Laura",
  title = "Creating Training Corpora for NLG Micro-Planners",
  booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
  year = "2017",
  publisher = "Association for Computational Linguistics",
  pages = "179--188",
  location = "Vancouver, Canada",
  doi = "10.18653/v1/P17-1017",
  url = "http://www.aclweb.org/anthology/P17-1017"
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/web_nlg_ru

• Description de la configuration : WebNLG est un jeu de données bilingue (anglais, russe) de triples ensembles DBpedia parallèles et de textes courts qui couvrent environ 450 propriétés DBpedia différentes. Les données WebNLG ont été créées à l'origine pour promouvoir le développement de verbaliseurs RDF capables de générer des textes courts et de gérer la micro-planification.

• Taille du téléchargement : 7.49 MiB

• Taille du jeu de données : 11.30 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'challenge_test_scramble'	500
'challenge_train_sample'	501
'challenge_validation_sample'	500
'test'	1 102
'train'	14 630
'validation'	790

• Structure des fonctionnalités :

FeaturesDict({
    'category': string,
    'gem_id': string,
    'gem_parent_id': string,
    'input': Sequence(string),
    'references': Sequence(string),
    'target': string,
    'webnlg_id': string,
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
Catégorie	Tenseur		chaîne de caractères
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
saisir	Séquence (tenseur)	(Aucun,)	chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
cible	Tenseur		chaîne de caractères
webnlg_id	Tenseur		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{gardent2017creating,
  author = "Gardent, Claire
    and Shimorina, Anastasia
    and Narayan, Shashi
    and Perez-Beltrachini, Laura",
  title = "Creating Training Corpora for NLG Micro-Planners",
  booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
  year = "2017",
  publisher = "Association for Computational Linguistics",
  pages = "179--188",
  location = "Vancouver, Canada",
  doi = "10.18653/v1/P17-1017",
  url = "http://www.aclweb.org/anthology/P17-1017"
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_auto_asset_turk

• Description de la configuration : WikiAuto fournit un ensemble de phrases alignées de Wikipédia anglais et de Wikipédia anglais simple comme ressource pour entraîner des systèmes de simplification de phrases. ASSET et TURK sont des ensembles de données de simplification de haute qualité utilisés pour les tests.

• Taille du téléchargement : 121.01 MiB

• Taille du jeu de données : 202.40 MiB

• Mise en cache automatique ( documentation ) : Oui (challenge_test_asset_backtranslation, challenge_test_asset_bfp02, challenge_test_asset_bfp05, challenge_test_asset_nopunc, challenge_test_turk_backtranslation, challenge_test_turk_bfp02, challenge_test_turk_bfp05, challenge_test_turk_nopunc, challenge_train_sample, challenge_validation_sample, test_turk_backtranslation, test (file_test_turk_bfp05, challenge_test_turk_nopunc, challenge_train_sample, challenge_validation_sample, shuffle_files=False , test uniquement),

• Fractionnements :

Diviser	Exemples
'challenge_test_asset_backtranslation'	359
'challenge_test_asset_bfp02'	359
'challenge_test_asset_bfp05'	359
'challenge_test_asset_nopunc'	359
'challenge_test_turk_backtranslation'	359
'challenge_test_turk_bfp02'	359
'challenge_test_turk_bfp05'	359
'challenge_test_turk_nopunc'	359
'challenge_train_sample'	500
'challenge_validation_sample'	500
'test_asset'	359
'test_turk'	359
'train'	483 801
'validation'	20 000

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'target': string,
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
cible	Tenseur		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{jiang-etal-2020-neural,
    title = "Neural {CRF} Model for Sentence Alignment in Text Simplification",
    author = "Jiang, Chao  and
      Maddela, Mounica  and
      Lan, Wuwei  and
      Zhong, Yang  and
      Xu, Wei",
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.acl-main.709",
    doi = "10.18653/v1/2020.acl-main.709",
    pages = "7943--7960",
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

gemme/xsum

• Description de la configuration : le jeu de données est destiné à la tâche de résumé abstrait dans sa forme extrême, il s'agit de résumer un document en une seule phrase.

• Taille du téléchargement : 246.31 MiB

• Taille du jeu de données : 78.89 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'challenge_test_backtranslation'	500
'challenge_test_bfp_02'	500
'challenge_test_bfp_05'	500
'challenge_test_covid'	401
'challenge_test_nopunc'	500
'challenge_train_sample'	500
'challenge_validation_sample'	500
'test'	1 166
'train'	23 206
'validation'	1 117

• Structure des fonctionnalités :

FeaturesDict({
    'document': string,
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'target': string,
    'xsum_id': string,
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
document	Tenseur		chaîne de caractères
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
cible	Tenseur		chaîne de caractères
xsum_id	Tenseur		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{Narayan2018dont,
  author = "Shashi Narayan and Shay B. Cohen and Mirella Lapata",
  title = "Don't Give Me the Details, Just the Summary! {T}opic-Aware Convolutional Neural Networks for Extreme Summarization",
  booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing ",
  year = "2018",
  address = "Brussels, Belgium",
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_arabic_ar

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 56.25 MiB

• Taille du jeu de données : 291.42 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

Diviser	Exemples
'test'	5 841
'train'	20 441
'validation'	2 919

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'ar': Text(shape=(), dtype=string),
        'en': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'ar': Text(shape=(), dtype=string),
        'en': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/ar	Texte		chaîne de caractères
source_aligned/fr	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/ar	Texte		chaîne de caractères
target_aligned/fr	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_chinese_zh

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 31.38 MiB

• Taille du jeu de données : 122.06 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'test'	3 775
'train'	13 211
'validation'	1 886

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'zh': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'zh': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/zh	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
target_aligned/zh	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_czech_cs

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 13.84 MiB

• Taille du jeu de données : 58.05 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'test'	1 438
'train'	5 033
'validation'	718

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'cs': Text(shape=(), dtype=string),
        'en': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'cs': Text(shape=(), dtype=string),
        'en': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/cs	Texte		chaîne de caractères
source_aligned/fr	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/cs	Texte		chaîne de caractères
target_aligned/fr	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_dutch_nl

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 53.88 MiB

• Taille du jeu de données : 237.97 MiB

• Mise en cache automatique ( documentation ): Oui (test, validation), Uniquement lorsque shuffle_files=False (train)

• Fractionnements :

Diviser	Exemples
'test'	6 248
'train'	21 866
'validation'	3 123

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'nl': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'nl': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/nl	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
target_aligned/nl	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_english_en

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 112.56 MiB

• Taille du jeu de données : 657.51 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

Diviser	Exemples
'test'	28 614
'train'	99 020
'validation'	13 823

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_french_fr

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 113.26 MiB

• Taille du jeu de données : 522.28 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

Diviser	Exemples
'test'	12 731
'train'	44 556
'validation'	6 364

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'fr': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'fr': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/fr	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
target_aligned/fr	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_german_de

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 102.65 MiB

• Taille du jeu de données : 452.46 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

Diviser	Exemples
'test'	11 669
'train'	40 839
'validation'	5 833

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'de': Text(shape=(), dtype=string),
        'en': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'de': Text(shape=(), dtype=string),
        'en': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/de	Texte		chaîne de caractères
source_aligned/fr	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/de	Texte		chaîne de caractères
target_aligned/fr	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_hindi_hi

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 20.07 MiB

• Taille du jeu de données : 138.06 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'test'	1 984
'train'	6 942
'validation'	991

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'hi': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'hi': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/salut	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
target_aligned/salut	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_indonesian_id

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 80.08 MiB

• Taille du jeu de données : 370.63 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

Diviser	Exemples
'test'	9 497
'train'	33 237
'validation'	4 747

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'id': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'id': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/id	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
target_aligned/id	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_italian_it

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 84.80 MiB

• Taille du jeu de données : 374.40 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

Diviser	Exemples
'test'	10 189
'train'	35 661
'validation'	5 093

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'it': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'it': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/il	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
target_aligned/il	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_japanese_ja

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 21.75 MiB

• Taille du jeu de données : 103.19 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'test'	2 530
'train'	8 853
'validation'	1 264

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'ja': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'ja': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/ja	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
target_aligned/ja	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_korean_ko

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 22.26 MiB

• Taille du jeu de données : 102.35 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'test'	2 436
'train'	8 524
'validation'	1 216

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'ko': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'ko': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/ko	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
target_aligned/ko	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_portuguese_pt

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 131.17 MiB

• Taille du jeu de données : 570.46 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

Diviser	Exemples
'test'	16 331
'train'	57 159
'validation'	8 165

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'pt': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'pt': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/pt	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
cible_aligné/pt	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_russian_ru

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 101.36 MiB

• Taille du jeu de données : 564.69 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

Diviser	Exemples
'test'	10 580
'train'	37 028
'validation'	5 288

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'ru': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'ru': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/ru	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
target_aligned/ru	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_spanish_es

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 189.06 MiB

• Taille du jeu de données : 849.75 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

Diviser	Exemples
'test'	22 632
'train'	79 212
'validation'	11 316

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'es': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'es': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/es	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
target_aligned/es	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_thai_th

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 28.60 MiB

• Taille du jeu de données : 193.77 MiB

• Mise en cache automatique ( documentation ): Oui (test, validation), Uniquement lorsque shuffle_files=False (train)

• Fractionnements :

Diviser	Exemples
'test'	2 950
'train'	10 325
'validation'	1 475

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'th': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'th': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/th	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
target_aligned/th	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_turkish_tr

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 6.73 MiB

• Taille du jeu de données : 30.75 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'test'	900
'train'	3 148
'validation'	449

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'tr': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'tr': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/tr	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
target_aligned/tr	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

bijou/wiki_lingua_vietnamese_vi

• Description de la configuration : Wikilingua est un ensemble de données multilingue à grande échelle pour l'évaluation de systèmes de résumés abstraits interlinguistiques.

• Taille du téléchargement : 36.27 MiB

• Taille du jeu de données : 179.77 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

Diviser	Exemples
'test'	3 917
'train'	13 707
'validation'	1 957

• Structure des fonctionnalités :

FeaturesDict({
    'gem_id': string,
    'gem_parent_id': string,
    'references': Sequence(string),
    'source': string,
    'source_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'vi': Text(shape=(), dtype=string),
    }),
    'target': string,
    'target_aligned': Translation({
        'en': Text(shape=(), dtype=string),
        'vi': Text(shape=(), dtype=string),
    }),
})

• Documentation des fonctionnalités :

Caractéristique	Classer	Forme	Dtype	La description
	FonctionnalitésDict
gem_id	Tenseur		chaîne de caractères
gem_parent_id	Tenseur		chaîne de caractères
références	Séquence (tenseur)	(Aucun,)	chaîne de caractères
la source	Tenseur		chaîne de caractères
source_aligned	Traduction
source_aligned/fr	Texte		chaîne de caractères
source_aligned/vi	Texte		chaîne de caractères
cible	Tenseur		chaîne de caractères
aligné sur la cible	Traduction
target_aligned/fr	Texte		chaîne de caractères
target_aligned/vi	Texte		chaîne de caractères

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{ladhak-wiki-2020,
title=WikiLingua: A New Benchmark Dataset for Multilingual Abstractive Summarization,
author={Faisal Ladhak, Esin Durmus, Claire Cardie and Kathleen McKeown},
booktitle={Findings of EMNLP, 2020},
year={2020}
}
@article{gehrmann2021gem,
  author    = {Sebastian Gehrmann and
               Tosin P. Adewumi and
               Karmanya Aggarwal and
               Pawan Sasanka Ammanamanchi and
               Aremu Anuoluwapo and
               Antoine Bosselut and
               Khyathi Raghavi Chandu and
               Miruna{-}Adriana Clinciu and
               Dipanjan Das and
               Kaustubh D. Dhole and
               Wanyu Du and
               Esin Durmus and
               Ondrej Dusek and
               Chris Emezue and
               Varun Gangal and
               Cristina Garbacea and
               Tatsunori Hashimoto and
               Yufang Hou and
               Yacine Jernite and
               Harsh Jhamtani and
               Yangfeng Ji and
               Shailza Jolly and
               Dhruv Kumar and
               Faisal Ladhak and
               Aman Madaan and
               Mounica Maddela and
               Khyati Mahajan and
               Saad Mahamood and
               Bodhisattwa Prasad Majumder and
               Pedro Henrique Martins and
               Angelina McMillan{-}Major and
               Simon Mille and
               Emiel van Miltenburg and
               Moin Nadeem and
               Shashi Narayan and
               Vitaly Nikolaev and
               Rubungo Andre Niyongabo and
               Salomey Osei and
               Ankur P. Parikh and
               Laura Perez{-}Beltrachini and
               Niranjan Ramesh Rao and
               Vikas Raunak and
               Juan Diego Rodriguez and
               Sashank Santhanam and
               Jo{\~{a} }o Sedoc and
               Thibault Sellam and
               Samira Shaikh and
               Anastasia Shimorina and
               Marco Antonio Sobrevilla Cabezudo and
               Hendrik Strobelt and
               Nishant Subramani and
               Wei Xu and
               Diyi Yang and
               Akhila Yerukola and
               Jiawei Zhou},
  title     = {The {GEM} Benchmark: Natural Language Generation, its Evaluation and
               Metrics},
  journal   = {CoRR},
  volume    = {abs/2102.01672},
  year      = {2021},
  url       = {https://arxiv.org/abs/2102.01672},
  archivePrefix = {arXiv},
  eprint    = {2102.01672}
}

Note that each GEM dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."