mdd

参考文献:

タスク1_qa

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:mdd/task1_qa')
  • 説明：
The Movie Dialog dataset (MDD) is designed to measure how well
models can perform at goal and non-goal orientated dialog
centered around the topic of movies (question answering,
recommendation and discussion).
  • ライセンス: クリエイティブ・コモンズ表示 3.0 ライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'test' 9952
'train' 96185
'validation' 9968
  • 特徴： 
{
    "dialogue_turns": {
        "feature": {
            "speaker": {
                "dtype": "int32",
                "id": null,
                "_type": "Value"
            },
            "utterance": {
                "dtype": "string",
                "id": null,
                "_type": "Value"
            }
        },
        "length": -1,
        "id": null,
        "_type": "Sequence"
    }
}

task2_recs

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:mdd/task2_recs')
  • 説明：
The Movie Dialog dataset (MDD) is designed to measure how well
models can perform at goal and non-goal orientated dialog
centered around the topic of movies (question answering,
recommendation and discussion).
  • ライセンス: クリエイティブ・コモンズ表示 3.0 ライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'test' 10000
'train' 1000000
'validation' 10000
  • 特徴： 
{
    "dialogue_turns": {
        "feature": {
            "speaker": {
                "dtype": "int32",
                "id": null,
                "_type": "Value"
            },
            "utterance": {
                "dtype": "string",
                "id": null,
                "_type": "Value"
            }
        },
        "length": -1,
        "id": null,
        "_type": "Sequence"
    }
}

task3_qarecs

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:mdd/task3_qarecs')
  • 説明：
The Movie Dialog dataset (MDD) is designed to measure how well
models can perform at goal and non-goal orientated dialog
centered around the topic of movies (question answering,
recommendation and discussion).
  • ライセンス: クリエイティブ・コモンズ表示 3.0 ライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'test' 4915
'train' 952125
'validation' 5052
  • 特徴： 
{
    "dialogue_turns": {
        "feature": {
            "speaker": {
                "dtype": "int32",
                "id": null,
                "_type": "Value"
            },
            "utterance": {
                "dtype": "string",
                "id": null,
                "_type": "Value"
            }
        },
        "length": -1,
        "id": null,
        "_type": "Sequence"
    }
}

task4_reddit

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:mdd/task4_reddit')
  • 説明：
The Movie Dialog dataset (MDD) is designed to measure how well
models can perform at goal and non-goal orientated dialog
centered around the topic of movies (question answering,
recommendation and discussion).
  • ライセンス: クリエイティブ・コモンズ表示 3.0 ライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'cand_test' 10000
'cand_valid' 10000
'test' 10000
'train' 945198
'validation' 10000
  • 特徴：
{
    "dialogue_turns": {
        "feature": {
            "speaker": {
                "dtype": "int32",
                "id": null,
                "_type": "Value"
            },
            "utterance": {
                "dtype": "string",
                "id": null,
                "_type": "Value"
            }
        },
        "length": -1,
        "id": null,
        "_type": "Sequence"
    }
}