un_pc

参考文献:

• コード
• ハグフェイス

アーエン

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/ar-en')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	20044478

• 特徴：

{
    "translation": {
        "languages": [
            "ar",
            "en"
        ],
        "id": null,
        "_type": "Translation"
    }
}

アールエス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/ar-es')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	20532014

• 特徴：

{
    "translation": {
        "languages": [
            "ar",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-fr

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/ar-fr')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	20281645

• 特徴：

{
    "translation": {
        "languages": [
            "ar",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

あるある

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/ar-ru')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	20571334

• 特徴：

{
    "translation": {
        "languages": [
            "ar",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-zh

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/ar-zh')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	17306056

• 特徴：

{
    "translation": {
        "languages": [
            "ar",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンエス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/en-es')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	25227004

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

フランス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/en-fr')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	30340652

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

えんる

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/en-ru')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	25173398

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

日本語

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/en-zh')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	17451549

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

es-fr

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/es-fr')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	25887160

• 特徴：

{
    "translation": {
        "languages": [
            "es",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エス・ル

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/es-ru')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	22294106

• 特徴：

{
    "translation": {
        "languages": [
            "es",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エス・ジ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/es-zh')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	17599223

• 特徴：

{
    "translation": {
        "languages": [
            "es",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

フレル

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/fr-ru')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	25219973

• 特徴：

{
    "translation": {
        "languages": [
            "fr",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

フランス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/fr-zh')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	17521170

• 特徴：

{
    "translation": {
        "languages": [
            "fr",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ル・ジ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_pc/ru-zh')

• 説明：

This parallel corpus consists of manually translated UN documents from the last 25 years (1990 to 2014) for the six official UN languages, Arabic, Chinese, English, French, Russian, and Spanish.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	17920922

• 特徴：

{
    "translation": {
        "languages": [
            "ru",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}