ج4

مراجع:

• شفرة
• معانقة

أون

استخدم الأمر التالي لتحميل مجموعة البيانات هذه في TFDS:

ds = tfds.load('huggingface:c4/en')

• وصف :

A colossal, cleaned version of Common Crawl's web crawl corpus.

Based on Common Crawl dataset: "https://commoncrawl.org".

This is the processed version of Google's C4 dataset by AllenAI.

• الترخيص : لا يوجد ترخيص معروف
• الإصدار : 0.0.0
• الإنشقاقات :

ينقسم	أمثلة
'train'	364868892
'validation'	364608

• سمات :

{
    "text": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "timestamp": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "url": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}

en.noblocklist

استخدم الأمر التالي لتحميل مجموعة البيانات هذه في TFDS:

ds = tfds.load('huggingface:c4/en.noblocklist')

• وصف :

A colossal, cleaned version of Common Crawl's web crawl corpus.

Based on Common Crawl dataset: "https://commoncrawl.org".

This is the processed version of Google's C4 dataset by AllenAI.

• الترخيص : لا يوجد ترخيص معروف
• الإصدار : 0.0.0
• الإنشقاقات :

ينقسم	أمثلة
'train'	393391519
'validation'	393226

• سمات :

{
    "text": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "timestamp": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "url": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}

com.realnewslike

استخدم الأمر التالي لتحميل مجموعة البيانات هذه في TFDS:

ds = tfds.load('huggingface:c4/realnewslike')

• وصف :

A colossal, cleaned version of Common Crawl's web crawl corpus.

Based on Common Crawl dataset: "https://commoncrawl.org".

This is the processed version of Google's C4 dataset by AllenAI.

• الترخيص : لا يوجد ترخيص معروف
• الإصدار : 0.0.0
• الإنشقاقات :

ينقسم	أمثلة
'train'	13799838
'validation'	13863

• سمات :

{
    "text": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "timestamp": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "url": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}

en.noclean

استخدم الأمر التالي لتحميل مجموعة البيانات هذه في TFDS:

ds = tfds.load('huggingface:c4/en.noclean')

• وصف :

A colossal, cleaned version of Common Crawl's web crawl corpus.

Based on Common Crawl dataset: "https://commoncrawl.org".

This is the processed version of Google's C4 dataset by AllenAI.

• الترخيص : لا يوجد ترخيص معروف
• الإصدار : 0.0.0
• الإنشقاقات :

ينقسم	أمثلة
'train'	1063805381
'validation'	1065029

• سمات :

{
    "text": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "timestamp": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "url": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}