参考文献:
生
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:cbt/raw')
- 説明：
The Children’s Book Test (CBT) is designed to measure directly
how well language models can exploit wider linguistic context.
The CBT is built from books that are freely available.
- ライセンス: GNU フリー ドキュメント ライセンス v1.3
- バージョン: 1.1.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 5 |
'train' | 98 |
'validation' | 5 |
- 特徴：
{
"title": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"content": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}
V
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:cbt/V')
- 説明：
The Children’s Book Test (CBT) is designed to measure directly
how well language models can exploit wider linguistic context.
The CBT is built from books that are freely available.
- ライセンス: GNU フリー ドキュメント ライセンス v1.3
- バージョン: 1.1.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 2500 |
'train' | 105825 |
'validation' | 2000年 |
- 特徴：
{
"sentences": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"question": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"answer": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"options": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
P
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:cbt/P')
- 説明：
The Children’s Book Test (CBT) is designed to measure directly
how well language models can exploit wider linguistic context.
The CBT is built from books that are freely available.
- ライセンス: GNU フリー ドキュメント ライセンス v1.3
- バージョン: 1.1.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 2500 |
'train' | 334030 |
'validation' | 2000年 |
- 特徴：
{
"sentences": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"question": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"answer": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"options": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
北東
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:cbt/NE')
- 説明：
The Children’s Book Test (CBT) is designed to measure directly
how well language models can exploit wider linguistic context.
The CBT is built from books that are freely available.
- ライセンス: GNU フリー ドキュメント ライセンス v1.3
- バージョン: 1.1.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 2500 |
'train' | 108719 |
'validation' | 2000年 |
- 特徴：
{
"sentences": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"question": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"answer": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"options": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
CN
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:cbt/CN')
- 説明：
The Children’s Book Test (CBT) is designed to measure directly
how well language models can exploit wider linguistic context.
The CBT is built from books that are freely available.
- ライセンス: GNU フリー ドキュメント ライセンス v1.3
- バージョン: 1.1.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 2500 |
'train' | 120769 |
'validation' | 2000年 |
- 特徴：
{
"sentences": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"question": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"answer": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"options": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}