- 説明:
約 400 万の記事からなる Gigaword の記事ペアのコーパスでの見出し生成。 https://github.com/microsoft/unilm/が提供する 'org_data' を使用します。これはhttps://github.com/harvardnlp/sent-summaryと同じですが、形式がより優れています。
2 つの機能があります。 - ドキュメント: 記事。 - 要約: 見出し。
ソースコード:
tfds.summarization.Gigawordバージョン:
-
1.2.0(デフォルト): リリース ノートはありません。
-
ダウンロードサイズ:
551.61 MiBデータセットサイズ:
1.02 GiB自動キャッシュ(ドキュメント): いいえ
スプリット:
| スプリット | 例 |
|---|---|
'test' | 1,951人 |
'train' | 3,803,957 |
'validation' | 189,651 |
- 機能構造:
FeaturesDict({
'document': Text(shape=(), dtype=string),
'summary': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
| 特徴 | クラス | 形 | Dtype | 説明 |
|---|---|---|---|---|
| 特徴辞書 | ||||
| 資料 | 文章 | ストリング | ||
| まとめ | 文章 | ストリング |
監視されたキー(
as_superviseddocを参照):('document', 'summary')図( tfds.show_examples ): サポートされていません。
例( tfds.as_dataframe ):
- 引用：
@article{graff2003english,
title={English gigaword},
author={Graff, David and Kong, Junbo and Chen, Ke and Maeda, Kazuaki},
journal={Linguistic Data Consortium, Philadelphia},
volume={4},
number={1},
pages={34},
year={2003}
}
@article{Rush_2015,
title={A Neural Attention Model for Abstractive Sentence Summarization},
url={http://dx.doi.org/10.18653/v1/D15-1044},
DOI={10.18653/v1/d15-1044},
journal={Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing},
publisher={Association for Computational Linguistics},
author={Rush, Alexander M. and Chopra, Sumit and Weston, Jason},
year={2015}
}