อ้างอิง:
สวาฮิลี
ใช้คำสั่งต่อไปนี้เพื่อโหลดชุดข้อมูลนี้ใน TFDS:
ds = tfds.load('huggingface:swahili/swahili')
- คำอธิบาย :
The Swahili dataset developed specifically for language modeling task.
The dataset contains 28,000 unique words with 6.84M, 970k, and 2M words for the train,
valid and test partitions respectively which represent the ratio 80:10:10.
The entire dataset is lowercased, has no punctuation marks and,
the start and end of sentence markers have been incorporated to facilitate easy tokenization during language modeling.
- ใบอนุญาต : แสดงที่มา 4.0 สากล
- เวอร์ชัน : 1.0.0
- แยก :
แยก | ตัวอย่าง |
---|---|
'test' | 3371 |
'train' | 42069 |
'validation' | 3372 |
- คุณสมบัติ :
{
"text": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}