cnn_dailymail

  • 説明:

CNN/DailyMail の匿名化されていない要約データセット。

2つの特徴があります: - article: 要約されるドキュメントとして使用されるニュース記事のテキスト - ハイライト: ターゲットの要約である各ハイライトとその周囲のハイライトの結合テキスト

  • 追加のドキュメント:コードを使用したペーパーの探索

  • ホームページ: https://github.com/abisee/cnn-dailymail

  • ソースコード: tfds.summarization.CnnDailymail

  • バージョン:

    • 1.0.0 : 新しい分割 API ( https://tensorflow.org/datasets/splits )

    • 2.0.0 : 対象文を改行で区切ります。 (モデルに改行セパレーターを予測させることで、要約レベルの ROUGE を使用した評価が容易になります。)

    • 3.0.0 : ケース入りバージョンを使用。

    • 3.1.0 : BuilderConfig を削除しました

    • 3.2.0 : 追加文ピリオドの前の余分なスペースを削除します。句読点が削除されているため、ROUGE スコアには影響しません。

    • 3.3.0 : パブリッシャー機能を追加。

    • 3.4.0 (デフォルト): ID 機能を追加します。

  • ダウンロードサイズ: 558.32 MiB

  • データセットサイズ: 1.29 GiB

  • 自動キャッシュ(ドキュメント): いいえ

  • スプリット:

スプリット例
'test' 11,490
'train' 287,113
'validation' 13,368
  • 機能構造:
FeaturesDict({
    'article': Text(shape=(), dtype=string),
    'highlights': Text(shape=(), dtype=string),
    'id': Text(shape=(), dtype=string),
    'publisher': Text(shape=(), dtype=string),
})
  • 機能のドキュメント:
特徴クラス形Dtype説明
特徴辞書
論文文章ストリング
ハイライト文章ストリング
ID文章ストリング
パブリッシャー文章ストリング
  • 引用：
@article{DBLP:journals/corr/SeeLM17,
  author    = {Abigail See and
               Peter J. Liu and
               Christopher D. Manning},
  title     = {Get To The Point: Summarization with Pointer-Generator Networks},
  journal   = {CoRR},
  volume    = {abs/1704.04368},
  year      = {2017},
  url       = {http://arxiv.org/abs/1704.04368},
  archivePrefix = {arXiv},
  eprint    = {1704.04368},
  timestamp = {Mon, 13 Aug 2018 16:46:08 +0200},
  biburl    = {https://dblp.org/rec/bib/journals/corr/SeeLM17},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

@inproceedings{hermann2015teaching,
  title={Teaching machines to read and comprehend},
  author={Hermann, Karl Moritz and Kocisky, Tomas and Grefenstette, Edward and Espeholt, Lasse and Kay, Will and Suleyman, Mustafa and Blunsom, Phil},
  booktitle={Advances in neural information processing systems},
  pages={1693--1701},
  year={2015}
}