ラマ

参考文献:

トレックス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:lama/trex')
  • 説明
LAMA is a dataset used to probe and analyze the factual and commonsense knowledge contained in pretrained language models. See https://github.com/facebookresearch/LAMA.
スプリット
'train' 1304391
  • 特徴
{
    "uuid": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "obj_uri": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "obj_label": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sub_uri": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sub_label": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "predicate_id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sub_surface": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "obj_surface": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "masked_sentence": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "template": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "template_negated": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "label": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "description": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "type": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}

分隊

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:lama/squad')
  • 説明
LAMA is a dataset used to probe and analyze the factual and commonsense knowledge contained in pretrained language models. See https://github.com/facebookresearch/LAMA.
スプリット
'train' 305
  • 特徴
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sub_label": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "obj_label": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "negated": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "masked_sentence": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}

グーグルレ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:lama/google_re')
  • 説明
LAMA is a dataset used to probe and analyze the factual and commonsense knowledge contained in pretrained language models. See https://github.com/facebookresearch/LAMA.
スプリット
'train' 6106
  • 特徴
{
    "pred": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sub": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "obj": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "evidences": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "judgments": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sub_w": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sub_label": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sub_aliases": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "obj_w": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "obj_label": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "obj_aliases": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "uuid": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "masked_sentence": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "template": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "template_negated": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}

コンセプトネット

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:lama/conceptnet')
  • 説明
LAMA is a dataset used to probe and analyze the factual and commonsense knowledge contained in pretrained language models. See https://github.com/facebookresearch/LAMA.
スプリット
'train' 29774
  • 特徴
{
    "uuid": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sub": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "obj": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "pred": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "obj_label": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "masked_sentence": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "negated": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}