reddit

• 説明:

このコーパスには、Reddit データセットからの前処理済みの投稿が含まれています。データセットは 3,848,330 件の投稿で構成され、平均の長さはコンテンツが 270 語、要約が 28 語です。

機能には文字列が含まれます: author、body、normalizedBody、content、summary、subreddit、subreddit_id。コンテンツはドキュメントとして使用され、要約は要約として使用されます。

• 追加のドキュメント:コードを使用したペーパーの探索

• ホームページ: https://github.com/webis-de/webis-tldr-17-corpus

• ソースコード: tfds.datasets.reddit.Builder

• バージョン:

  • 1.0.0 (デフォルト): リリース ノートはありません。

• ダウンロードサイズ: 2.93 GiB

• データセットサイズ: 18.09 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

スプリット	例
'train'	3,848,330

• 機能構造:

FeaturesDict({
    'author': string,
    'body': string,
    'content': string,
    'id': string,
    'normalizedBody': string,
    'subreddit': string,
    'subreddit_id': string,
    'summary': string,
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	特徴辞書
著者	テンソル		ストリング
体	テンソル		ストリング
コンテンツ	テンソル		ストリング
ID	テンソル		ストリング
正規化されたボディ	テンソル		ストリング
サブレディット	テンソル		ストリング
subreddit_id	テンソル		ストリング
まとめ	テンソル		ストリング

• 監視されたキー( as_supervised docを参照): ('content', 'summary')

• 図( tfds.show_examples ): サポートされていません。

• 例( tfds.as_dataframe ):

• 引用：

@inproceedings{volske-etal-2017-tl,
    title = "{TL};{DR}: Mining {R}eddit to Learn Automatic Summarization",
    author = {V{\"o}lske, Michael  and
      Potthast, Martin  and
      Syed, Shahbaz  and
      Stein, Benno},
    booktitle = "Proceedings of the Workshop on New Frontiers in Summarization",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/W17-4508",
    doi = "10.18653/v1/W17-4508",
    pages = "59--63",
    abstract = "Recent advances in automatic text summarization have used deep neural networks to generate high-quality abstractive summaries, but the performance of these models strongly depends on large amounts of suitable training data. We propose a new method for mining social media for author-provided summaries, taking advantage of the common practice of appending a {``}TL;DR{''} to long posts. A case study using a large Reddit crawl yields the Webis-TLDR-17 dataset, complementing existing corpora primarily from the news genre. Our technique is likely applicable to other social media sites and general web crawls.",
}