참고자료:
TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.
ds = tfds.load('huggingface:wiki_summary')
- 설명 :
The dataset extracted from Persian Wikipedia into the form of articles and highlights and cleaned the dataset into pairs of articles and highlights and reduced the articles' length (only version 1.0.0) and highlights' length to a maximum of 512 and 128, respectively, suitable for parsBERT.
- 라이센스 : 알려진 라이센스 없음
- 버전 : 1.1.0
- 분할 :
나뉘다 | 예 |
---|---|
'test' | 5638 |
'train' | 45654 |
'validation' | 5074 |
- 특징 :
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"link": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"title": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"article": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"highlights": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}