xsum

Mô tả :

Bộ dữ liệu tóm tắt cực đại (XSum).

Có hai tính năng: - tài liệu: Nhập tin bài. - tóm tắt: Một câu tóm tắt của bài viết.

Dữ liệu này cần được tải xuống và trích xuất thủ công như được mô tả trong https://github.com/EdinburghNLP/XSum/blob/master/XSum-Dataset/README.md Thư mục 'xsum-extracts-from-downloads' cần được nén dưới dạng 'xsum-extracts-from-downloads.tar.gz' và đặt vào thư mục đã tải xuống thủ công.

Tài liệu bổ sung : Khám phá trên giấy tờ với mã
Trang chủ : https://github.com/EdinburghNLP/XSum/tree/master/XSum-Dataset
Mã nguồn : tfds.summarization.Xsum
Phiên bản :
- 1.0.0 : Tập dữ liệu không cần làm sạch.
- 1.1.0 (mặc định): Xóa nội dung trang web.
Kích thước tải xuống : 2.59 MiB
Kích thước tập dữ liệu : 512.03 MiB
Hướng dẫn tải xuống thủ công : Bộ dữ liệu này yêu cầu bạn tải xuống dữ liệu nguồn theo cách thủ công vào download_config.manual_dir (mặc định là ~/tensorflow_datasets/downloads/manual/ ):
Hướng dẫn tải xuống chi tiết (yêu cầu chạy tập lệnh tùy chỉnh) có tại đây: https://github.com/EdinburghNLP/XSum/blob/master/XSum-Dataset/README.md#running-the-download-and-extract-scripts Sau đó , vui lòng đặt tệp xsum-extracts-from-downloads.tar.gz trong manual_dir.
Tự động lưu vào bộ nhớ cache ( tài liệu ): Không
Chia tách :

Tách ra	ví dụ
`'test'`	11,301
`'train'`	203,577
`'validation'`	11,305

Cấu trúc tính năng :

FeaturesDict({
    'document': Text(shape=(), dtype=string),
    'summary': Text(shape=(), dtype=string),
})

Tài liệu tính năng :

Tính năng	Lớp	Dtype
	Tính năngDict
tài liệu	Chữ	sợi dây
bản tóm tắt	Chữ	sợi dây

Các khóa được giám sát (Xem as_supervised doc ): ('document', 'summary')
Hình ( tfds.show_examples ): Không được hỗ trợ.
Ví dụ ( tfds.as_dataframe ):

trích dẫn :

@article{Narayan2018DontGM,
  title={Don't Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization},
  author={Shashi Narayan and Shay B. Cohen and Mirella Lapata},
  journal={ArXiv},
  year={2018},
  volume={abs/1808.08745}
}