混乱させる

参考文献:

• コード
• ハグフェイス

ディスコフューズスポーツ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:discofuse/discofuse-sport')

• 説明：

DISCOFUSE is a large scale dataset for discourse-based sentence fusion.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'test'	445521
'train'	43291020
'validation'	440902

• 特徴：

{
    "connective_string": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "discourse_type": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "coherent_second_sentence": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "has_coref_type_pronoun": {
        "dtype": "float32",
        "id": null,
        "_type": "Value"
    },
    "incoherent_first_sentence": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "incoherent_second_sentence": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "has_coref_type_nominal": {
        "dtype": "float32",
        "id": null,
        "_type": "Value"
    },
    "coherent_first_sentence": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}

ディスコフューズ-ウィキペディア

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:discofuse/discofuse-wikipedia')

• 説明：

DISCOFUSE is a large scale dataset for discourse-based sentence fusion.

• ライセンス: 不明なライセンス
• バージョン: 1.0.0
• 分割:

スプリット	例
'test'	163657
'train'	16310585
'validation'	168081

• 特徴：

{
    "connective_string": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "discourse_type": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "coherent_second_sentence": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "has_coref_type_pronoun": {
        "dtype": "float32",
        "id": null,
        "_type": "Value"
    },
    "incoherent_first_sentence": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "incoherent_second_sentence": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "has_coref_type_nominal": {
        "dtype": "float32",
        "id": null,
        "_type": "Value"
    },
    "coherent_first_sentence": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}