टीएफडीएस अब क्रोइसैन 🥐 प्रारूप का समर्थन करता है! अधिक जानने के लिए दस्तावेज़ पढ़ें.

इस पेज का अनुवाद Cloud Translation API से किया गया है.

विकी40बी

विवरण :

पृष्ठों के 40+ विकिपीडिया भाषाओं के संस्करणों के लिए क्लीन-अप टेक्स्ट संस्थाओं से मेल खाता है। डेटासेट में प्रति भाषा ट्रेन/डेवलप/टेस्ट विभाजन होता है। असंबद्धता वाले पेजों, रीडायरेक्ट पेजों, हटाए गए पेजों और गैर-इकाई वाले पेजों को हटाने के लिए पेज फ़िल्टरिंग द्वारा डेटासेट को साफ़ किया जाता है। प्रत्येक उदाहरण में इकाई की विकिडेटा आईडी और पृष्ठ प्रसंस्करण के बाद पूरा विकिपीडिया लेख शामिल है जो गैर-सामग्री अनुभागों और संरचित वस्तुओं को हटा देता है। इस कॉर्पस पर प्रशिक्षित भाषा मॉडल - जिसमें 41 मोनोलिंगुअल मॉडल और 2 बहुभाषी मॉडल शामिल हैं - https://tfhub.dev/google/collections/wiki40b-lm/1 पर पाए जा सकते हैं।

अतिरिक्त दस्तावेज़ीकरण : कोड वाले कागजात पर अन्वेषण करें
मुखपृष्ठ : https://research.google/pubs/pub49029/
स्रोत कोड : tfds.text.Wiki40b
संस्करण :
- 1.3.0 (डिफ़ॉल्ट): कोई रिलीज़ नोट नहीं।
डाउनलोड आकार : Unknown size
फ़ीचर संरचना :

FeaturesDict({
    'text': Text(shape=(), dtype=string),
    'version_id': Text(shape=(), dtype=string),
    'wikidata_id': Text(shape=(), dtype=string),
})

फ़ीचर दस्तावेज़ीकरण :

विशेषता	कक्षा	डीप्रकार
	फीचर्सडिक्ट
मूलपाठ	मूलपाठ	डोरी
संस्करण_आईडी	मूलपाठ	डोरी
wikidata_id	मूलपाठ	डोरी

पर्यवेक्षित कुंजियाँ ( as_supervised doc देखें): None
चित्र ( tfds.show_examples ): समर्थित नहीं है।
उद्धरण :

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}

wiki40b/en (डिफ़ॉल्ट कॉन्फ़िगरेशन)

कॉन्फ़िग विवरण : en के लिए Wiki40B डेटासेट।
डेटासेट का आकार : 9.91 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :

विभाजित करना	उदाहरण
`'test'`	162,274
`'train'`	2,926,536
`'validation'`	163,597

उदाहरण ( tfds.as_dataframe ):

wiki40b/ar

कॉन्फ़िग विवरण : ar के लिए Wiki40B डेटासेट।
डेटासेट का आकार : 833.20 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :

विभाजित करना	उदाहरण
`'test'`	12,271
`'train'`	220,885
`'validation'`	12,198

उदाहरण ( tfds.as_dataframe ):

wiki40b/zh-cn

कॉन्फ़िगरेशन विवरण : zh-cn के लिए Wiki40B डेटासेट।
डेटासेट का आकार : 985.53 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :

विभाजित करना	उदाहरण
`'test'`	30,355
`'train'`	549,672
`'validation'`	30,299

उदाहरण ( tfds.as_dataframe ):

wiki40b/zh-tw

कॉन्फ़िगरेशन विवरण : zh-tw के लिए Wiki40B डेटासेट।
डेटासेट का आकार : 986.45 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :

विभाजित करना	उदाहरण
`'test'`	30,670
`'train'`	552,031
`'validation'`	30,739

उदाहरण ( tfds.as_dataframe ):

wiki40b/nl

कॉन्फ़िगरेशन विवरण : nl के लिए Wiki40B डेटासेट।
डेटासेट का आकार : 961.82 MiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :

विभाजित करना	उदाहरण
`'test'`	24,776
`'train'`	447,555
`'validation'`	25,201

उदाहरण ( tfds.as_dataframe ):

wiki40b/fr

कॉन्फ़िगरेशन विवरण : fr के लिए Wiki40B डेटासेट।
डेटासेट का आकार : 3.37 GiB
ऑटो-कैश्ड ( दस्तावेज़ीकरण ): नहीं
विभाजन :

विभाजित करना	उदाहरण
`'test'`	68,004
`'train'`	1,227,206
`'validation'`	68,655

उदाहरण ( tfds.as_dataframe ):