opus_ubuntu

参考文献:

• コード
• ハグフェイス

as-bs

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:opus_ubuntu/as-bs')

• 説明：

A parallel corpus of Ubuntu localization files. Source: https://translations.launchpad.net
244 languages, 23,988 bitexts
total number of files: 30,959
total number of tokens: 29.84M
total number of sentence fragments: 7.73M

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	8583

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "as",
            "bs"
        ],
        "id": null,
        "_type": "Translation"
    }
}

az-cs

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:opus_ubuntu/az-cs')

• 説明：

A parallel corpus of Ubuntu localization files. Source: https://translations.launchpad.net
244 languages, 23,988 bitexts
total number of files: 30,959
total number of tokens: 29.84M
total number of sentence fragments: 7.73M

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	293

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "az",
            "cs"
        ],
        "id": null,
        "_type": "Translation"
    }
}

バックグラウンド

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:opus_ubuntu/bg-de')

• 説明：

A parallel corpus of Ubuntu localization files. Source: https://translations.launchpad.net
244 languages, 23,988 bitexts
total number of files: 30,959
total number of tokens: 29.84M
total number of sentence fragments: 7.73M

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	184

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "bg",
            "de"
        ],
        "id": null,
        "_type": "Translation"
    }
}

br-es_PR

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:opus_ubuntu/br-es_PR')

• 説明：

A parallel corpus of Ubuntu localization files. Source: https://translations.launchpad.net
244 languages, 23,988 bitexts
total number of files: 30,959
total number of tokens: 29.84M
total number of sentence fragments: 7.73M

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	125

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "br",
            "es_PR"
        ],
        "id": null,
        "_type": "Translation"
    }
}

bn-ga

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:opus_ubuntu/bn-ga')

• 説明：

A parallel corpus of Ubuntu localization files. Source: https://translations.launchpad.net
244 languages, 23,988 bitexts
total number of files: 30,959
total number of tokens: 29.84M
total number of sentence fragments: 7.73M

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	7324

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "bn",
            "ga"
        ],
        "id": null,
        "_type": "Translation"
    }
}

こんにちは。

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:opus_ubuntu/br-hi')

• 説明：

A parallel corpus of Ubuntu localization files. Source: https://translations.launchpad.net
244 languages, 23,988 bitexts
total number of files: 30,959
total number of tokens: 29.84M
total number of sentence fragments: 7.73M

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	15551

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "br",
            "hi"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ブララ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:opus_ubuntu/br-la')

• 説明：

A parallel corpus of Ubuntu localization files. Source: https://translations.launchpad.net
244 languages, 23,988 bitexts
total number of files: 30,959
total number of tokens: 29.84M
total number of sentence fragments: 7.73M

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	527

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "br",
            "la"
        ],
        "id": null,
        "_type": "Translation"
    }
}

bs-szl

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:opus_ubuntu/bs-szl')

• 説明：

A parallel corpus of Ubuntu localization files. Source: https://translations.launchpad.net
244 languages, 23,988 bitexts
total number of files: 30,959
total number of tokens: 29.84M
total number of sentence fragments: 7.73M

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	646

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "bs",
            "szl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ブルズ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:opus_ubuntu/br-uz')

• 説明：

A parallel corpus of Ubuntu localization files. Source: https://translations.launchpad.net
244 languages, 23,988 bitexts
total number of files: 30,959
total number of tokens: 29.84M
total number of sentence fragments: 7.73M

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	1416

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "br",
            "uz"
        ],
        "id": null,
        "_type": "Translation"
    }
}

br-yi

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:opus_ubuntu/br-yi')

• 説明：

A parallel corpus of Ubuntu localization files. Source: https://translations.launchpad.net
244 languages, 23,988 bitexts
total number of files: 30,959
total number of tokens: 29.84M
total number of sentence fragments: 7.73M

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	2799

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "br",
            "yi"
        ],
        "id": null,
        "_type": "Translation"
    }
}