- 説明:
このコーパスには、Reddit データセットからの前処理済みの投稿が含まれています。データセットは 3,848,330 件の投稿で構成され、平均の長さはコンテンツが 270 語、要約が 28 語です。
機能には文字列が含まれます: author、body、normalizedBody、content、summary、subreddit、subreddit_id。コンテンツはドキュメントとして使用され、要約は要約として使用されます。
追加のドキュメント:コードを使用したペーパーの探索
ソースコード:
tfds.datasets.reddit.Builderバージョン:
-
1.0.0(デフォルト): リリース ノートはありません。
-
ダウンロードサイズ:
2.93 GiBデータセットサイズ:
18.09 GiB自動キャッシュ(ドキュメント): いいえ
スプリット:
| スプリット | 例 |
|---|---|
'train' | 3,848,330 |
- 機能構造:
FeaturesDict({
'author': string,
'body': string,
'content': string,
'id': string,
'normalizedBody': string,
'subreddit': string,
'subreddit_id': string,
'summary': string,
})
- 機能のドキュメント:
| 特徴 | クラス | 形 | Dtype | 説明 |
|---|---|---|---|---|
| 特徴辞書 | ||||
| 著者 | テンソル | ストリング | ||
| 体 | テンソル | ストリング | ||
| コンテンツ | テンソル | ストリング | ||
| ID | テンソル | ストリング | ||
| 正規化されたボディ | テンソル | ストリング | ||
| サブレディット | テンソル | ストリング | ||
| subreddit_id | テンソル | ストリング | ||
| まとめ | テンソル | ストリング |
監視されたキー(
as_superviseddocを参照):('content', 'summary')図( tfds.show_examples ): サポートされていません。
例( tfds.as_dataframe ):
- 引用：
@inproceedings{volske-etal-2017-tl,
title = "{TL};{DR}: Mining {R}eddit to Learn Automatic Summarization",
author = {V{\"o}lske, Michael and
Potthast, Martin and
Syed, Shahbaz and
Stein, Benno},
booktitle = "Proceedings of the Workshop on New Frontiers in Summarization",
month = sep,
year = "2017",
address = "Copenhagen, Denmark",
publisher = "Association for Computational Linguistics",
url = "https://www.aclweb.org/anthology/W17-4508",
doi = "10.18653/v1/W17-4508",
pages = "59--63",
abstract = "Recent advances in automatic text summarization have used deep neural networks to generate high-quality abstractive summaries, but the performance of these models strongly depends on large amounts of suitable training data. We propose a new method for mining social media for author-provided summaries, taking advantage of the common practice of appending a {``}TL;DR{''} to long posts. A case study using a large Reddit crawl yields the Webis-TLDR-17 dataset, complementing existing corpora primarily from the news genre. Our technique is likely applicable to other social media sites and general web crawls.",
}