- 설명 :
Common Crawl의 웹 크롤링 코퍼스의 거대하고 깨끗한 버전입니다.
공통 크롤링 데이터세트 기반: https://commoncrawl.org
이 데이터 세트를 생성하려면 t5의 지침을 따르십시오.
데이터 세트를 정리하는 오버헤드로 인해 Cloud Dataflow와 같은 분산 서비스로 준비하는 것이 좋습니다. 자세한 정보는 https://www.tensorflow.org/datasets/beam_datasets 에서 확인하세요.
추가 문서 : 코드가 있는 논문에서 탐색
홈페이지 : https://github.com/google-research/text-to-text-transfer-transformer#datasets
소스 코드 :
tfds.text.C4버전 :
-
2.2.0: 릴리스 노트가 없습니다. -
2.2.1: 릴리스 노트가 없습니다. -
2.3.0: 릴리스 노트가 없습니다. -
2.3.1: 릴리스 노트가 없습니다. -
3.1.0(기본값): 릴리스 정보가 없습니다.
-
수동 다운로드 지침 : 이 데이터 세트는 원본 데이터를 download_config.manual_dir에 수동으로
download_config.manual_dir해야 합니다(기본값은~/tensorflow_datasets/downloads/manual/).
일부 파일을 수동으로 다운로드해야 하는 C4 구성을 사용하고 있습니다.c4/webtextlike의 경우 https://mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ 에서 OpenWebText.zip을 다운로드하세요.자동 캐시 ( 문서 ): 아니요
기능 구조 :
FeaturesDict({
'content-length': Text(shape=(), dtype=string),
'content-type': Text(shape=(), dtype=string),
'text': Text(shape=(), dtype=string),
'timestamp': Text(shape=(), dtype=string),
'url': Text(shape=(), dtype=string),
})
- 기능 문서 :
| 특징 | 수업 | 모양 | D타입 | 설명 |
|---|---|---|---|---|
| 풍모Dict | ||||
| 콘텐츠 길이 | 텍스트 | 끈 | ||
| 컨텐츠 타입 | 텍스트 | 끈 | ||
| 텍스트 | 텍스트 | 끈 | ||
| 타임스탬프 | 텍스트 | 끈 | ||
| URL | 텍스트 | 끈 |
감독된 키 (
as_supervised문서 참조):None그림 ( tfds.show_examples ): 지원되지 않습니다.
인용 :
@article{2019t5,
author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
journal = {arXiv e-prints},
year = {2019},
archivePrefix = {arXiv},
eprint = {1910.10683},
}
c4/en(기본 구성)
구성 설명 : 영어 C4 데이터 세트.
다운로드 크기 :
201.98 KiB데이터세트 크기 :
806.87 GiB분할 :
| 나뉘다 | 예 |
|---|---|
'train' | 364,613,570 |
'validation' | 364,724 |
- 예 ( tfds.as_dataframe ):
c4/en.noclean
구성 설명 : 모든 정리 비활성화(중복 제거, 비속어 기반 제거 등)
다운로드 크기 :
177.11 KiB데이터세트 크기 :
6.21 TiB분할 :
| 나뉘다 | 예 |
|---|---|
'train' | 1,063,805,169 |
'validation' | 1,065,028 |
- 예 ( tfds.as_dataframe ):
c4/realnewslike
구성 설명 : 'RealNews' 데이터세트에 사용된 도메인의 콘텐츠만 포함하도록 기본 구성에서 필터링합니다(Zellers et al., 2019).
다운로드 크기 :
340.29 KiB데이터세트 크기 :
36.91 GiB분할 :
| 나뉘다 | 예 |
|---|---|
'train' | 13,804,817 |
'validation' | 13,855 |
- 예 ( tfds.as_dataframe ):
c4/webtextlike
구성 설명 : OpenWebText( https://github.com/jcpeterson/openwebtext )의 URL 콘텐츠만 포함하도록 기본 구성에서 필터링합니다.
다운로드 크기 :
2.04 MiB데이터세트 크기 :
17.93 GiB분할 :
| 나뉘다 | 예 |
|---|---|
'train' | 4,488,694 |
'validation' | 4,486 |
- 예 ( tfds.as_dataframe ):
c4/다국어
구성 설명 : Multilingual C4(mC4)에는 101개의 언어가 있으며 86개의 Common Crawl 덤프에서 생성됩니다.
다운로드 크기 :
13.60 MiB데이터세트 크기 :
38.49 TiB분할 :
| 나뉘다 | 예 |
|---|---|
'af' | 1,770,414 |
'af-validation' | 1,757 |
'am' | 291,570 |
'am-validation' | 289 |
'ar' | 92,455,378 |
'ar-validation' | 92,374 |
'az' | 7,179,300 |
'az-validation' | 7,206 |
'be' | 2,156,584 |
'be-validation' | 2,103 |
'bg' | 32,511,350 |
'bg-Latn' | 44,290 |
'bg-Latn-validation' | 41 |
'bg-validation' | 32,690 |
'bn' | 15,183,514 |
'bn-validation' | 15,130 |
'ca' | 19,438,615 |
'ca-validation' | 19,562 |
'ceb' | 415,208 |
'ceb-validation' | 430 |
'co' | 217,257 |
'co-validation' | 211 |
'cs' | 82,262,078 |
'cs-validation' | 82,594 |
'cy' | 1,066,595 |
'cy-validation' | 1,016 |
'da' | 36,884,558 |
'da-validation' | 37,071 |
'de' | 545,956,997 |
'de-validation' | 547,566 |
'el' | 68,577,376 |
'el-Latn' | 162,004 |
'el-Latn-validation' | 171 |
'el-validation' | 69,435 |
'en' | 3,928,733,379 |
'en-validation' | 3,933,379 |
'eo' | 560,151 |
'eo-validation' | 546 |
'es' | 591,272,119 |
'es-validation' | 592,258 |
'et' | 10,401,882 |
'et-validation' | 10,276 |
'eu' | 2,077,113 |
'eu-validation' | 2,077 |
'fa' | 81,252,911 |
'fa-validation' | 81,034 |
'fi' | 36,807,562 |
'fi-validation' | 36,512 |
'fil' | 2,331,209 |
'fil-validation' | 2,381 |
'fr' | 454,229,019 |
'fr-validation' | 453,124 |
'fy' | 502,656 |
'fy-validation' | 478 |
'ga' | 611,457 |
'ga-validation' | 631 |
'gd' | 201,237 |
'gd-validation' | 196 |
'gl' | 3,762,255 |
'gl-validation' | 3,811 |
'gu' | 1,292,191 |
'gu-validation' | 1,323 |
'ha' | 363,002 |
'ha-validation' | 368 |
'haw' | 103,043 |
'haw-validation' | 99 |
'hi' | 26,695,748 |
'hi-Latn' | 251,231 |
'hi-Latn-validation' | 261 |
'hi-validation' | 26,721 |
'hmn' | 157,016 |
'hmn-validation' | 175 |
'ht' | 232,354 |
'ht-validation' | 246 |
'hu' | 56,645,732 |
'hu-validation' | 56,905 |
'hy' | 3,873,029 |
'hy-validation' | 3,804 |
'id' | 19,423,746 |
'id-validation' | 19,601 |
'ig' | 110,582 |
'ig-validation' | 103 |
'is' | 3,139,312 |
'is-validation' | 3,210 |
'it' | 267,686,115 |
'it-validation' | 267,322 |
'iw' | 17,607,812 |
'iw-validation' | 17,570 |
'ja' | 85,226,039 |
'ja-Latn' | 235,885 |
'ja-Latn-validation' | 221 |
'ja-validation' | 85,618 |
'jv' | 218,969 |
'jv-validation' | 253 |
'ka' | 3,726,808 |
'ka-validation' | 3,752 |
'kk' | 3,421,165 |
'kk-validation' | 3,443 |
'km' | 1,384,128 |
'km-validation' | 1,359 |
'kn' | 1,916,445 |
'kn-validation' | 1,895 |
'ko' | 24,035,493 |
'ko-validation' | 24,240 |
'ku' | 399,027 |
'ku-validation' | 417 |
'ky' | 1,198,504 |
'ky-validation' | 1,188 |
'la' | 1,632,557 |
'la-validation' | 1,630 |
'lb' | 850,921 |
'lb-validation' | 856 |
'lo' | 302,612 |
'lo-validation' | 290 |
'lt' | 18,234,466 |
'lt-validation' | 18,428 |
'lv' | 9,882,376 |
'lv-validation' | 10,034 |
'mg' | 263,321 |
'mg-validation' | 254 |
'mi' | 148,146 |
'mi-validation' | 156 |
'mk' | 3,599,707 |
'mk-validation' | 3,713 |
'ml' | 3,604,562 |
'ml-validation' | 3,514 |
'mn' | 2,947,312 |
'mn-validation' | 3,021 |
'mr' | 4,555,599 |
'mr-validation' | 4,602 |
'ms' | 4,688,036 |
'ms-validation' | 4,719 |
'mt' | 1,109,191 |
'mt-validation' | 1,207 |
'my' | 1,248,242 |
'my-validation' | 1,314 |
'ne' | 4,679,412 |
'ne-validation' | 4,738 |
'nl' | 136,379,427 |
'nl-validation' | 137,142 |
'no' | 30,644,684 |
'no-validation' | 31,134 |
'ny' | 114,952 |
'ny-validation' | 121 |
'pa' | 729,394 |
'pa-validation' | 719 |
'pl' | 178,690,573 |
'pl-validation' | 178,481 |
'ps' | 497,321 |
'ps-validation' | 468 |
'pt' | 246,401,954 |
'pt-validation' | 246,120 |
'ro' | 66,499,899 |
'ro-validation' | 66,384 |
'ru' | 1,014,064,014 |
'ru-Latn' | 582,022 |
'ru-Latn-validation' | 616 |
'ru-validation' | 1,014,169 |
'sd' | 210,835 |
'sd-validation' | 206 |
'si' | 846,125 |
'si-validation' | 846 |
'sk' | 26,721,250 |
'sk-validation' | 26,882 |
'sl' | 12,381,886 |
'sl-validation' | 12,381 |
'sm' | 102,125 |
'sm-validation' | 108 |
'sn' | 124,984 |
'sn-validation' | 116 |
'so' | 1,168,106 |
'so-validation' | 1,212 |
'sq' | 7,023,573 |
'sq-validation' | 7,057 |
'sr' | 4,775,217 |
'sr-validation' | 4,804 |
'st' | 99,970 |
'st-validation' | 103 |
'su' | 153,302 |
'su-validation' | 151 |
'sv' | 63,308,307 |
'sv-validation' | 63,488 |
'sw' | 1,279,408 |
'sw-validation' | 1,296 |
'ta' | 5,769,533 |
'ta-validation' | 5,770 |
'te' | 2,034,828 |
'te-validation' | 2,010 |
'tg' | 1,563,304 |
'tg-validation' | 1,526 |
'th' | 28,021,205 |
'th-validation' | 28,062 |
'tr' | 132,662,955 |
'tr-validation' | 133,062 |
'uk' | 56,159,593 |
'uk-validation' | 56,321 |
'und' | 3,650,492,732 |
'und-validation' | 3,656,588 |
'ur' | 3,432,478 |
'ur-validation' | 3,443 |
'uz' | 1,183,603 |
'uz-validation' | 1,259 |
'vi' | 132,667,573 |
'vi-validation' | 132,915 |
'xh' | 122,232 |
'xh-validation' | 117 |
'yi' | 173,510 |
'yi-validation' | 166 |
'yo' | 86,686 |
'yo-validation' | 82 |
'zh' | 214,856,503 |
'zh-Latn' | 471,314 |
'zh-Latn-validation' | 492 |
'zh-validation' | 214,733 |
'zu' | 261,239 |
'zu-validation' | 253 |
- 예 ( tfds.as_dataframe ):