パラクロール

参考文献:

• コード
• ハグフェイス

英語

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enbg')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	1039885

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "bg"
        ],
        "id": null,
        "_type": "Translation"
    }
}

encs

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/encs')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	2981949

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "cs"
        ],
        "id": null,
        "_type": "Translation"
    }
}

はてな

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enda')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	2414895

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "da"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンデ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/ende')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	16264448

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "de"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エネル

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enel')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	1985233

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "el"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エネス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enes')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	21987267

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エネット

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enet')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	853422

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "et"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンフィ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enfi')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	2156069

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "fi"
        ],
        "id": null,
        "_type": "Translation"
    }
}

環境

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enfr')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	31374161

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンガ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enga')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	357399

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "ga"
        ],
        "id": null,
        "_type": "Translation"
    }
}

強化する

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enhr')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	1002053

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "hr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンフ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enhu')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	1901342

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "hu"
        ],
        "id": null,
        "_type": "Translation"
    }
}

終了する

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enit')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	12162239

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

入る

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enlt')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	844643

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "lt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

環境

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enlv')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	553060

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "lv"
        ],
        "id": null,
        "_type": "Translation"
    }
}

許可しない

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enmt')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	195502

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "mt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ENL

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/ennl')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	5659268

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンプ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enpl')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	3503276

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "pl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

入る

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enpt')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	8141940

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

えんろ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enro')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	1952043

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "ro"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンスク

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/ensk')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	1591831

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "sk"
        ],
        "id": null,
        "_type": "Translation"
    }
}

レンズ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/ensl')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	660161

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "sl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ENSV

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/ensv')

• 説明：

Web-Scale Parallel Corpora for Official European Languages.

• ライセンス: 既知のライセンスはありません
• バージョン: 1.0.0
• 分割:

スプリット	例
'train'	3476729

• 特徴：

{
    "translation": {
        "languages": [
            "en",
            "sv"
        ],
        "id": null,
        "_type": "Translation"
    }
}