참고자료:
결합된 CSV
TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.
ds = tfds.load('huggingface:newsqa/combined-csv')
- 설명 :
NewsQA is a challenging machine comprehension dataset of over 100,000 human-generated question-answer pairs. Crowdworkers supply questions and answers based on a set of over 10,000 news articles from CNN, with answers consisting of spans of text from the corresponding articles.
- 라이센스 : NewsQA CodeCopyright (c) Microsoft Corporation 모든 권리 보유. MIT 라이센스
- 버전 : 1.0.0
- 분할 :
| 나뉘다 | 예 |
|---|---|
'train' | 119633 |
- 특징 :
{
"story_id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"story_text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"question": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"answer_char_ranges": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}
결합된 JSON
TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.
ds = tfds.load('huggingface:newsqa/combined-json')
- 설명 :
NewsQA is a challenging machine comprehension dataset of over 100,000 human-generated question-answer pairs. Crowdworkers supply questions and answers based on a set of over 10,000 news articles from CNN, with answers consisting of spans of text from the corresponding articles.
- 라이센스 : NewsQA CodeCopyright (c) Microsoft Corporation 모든 권리 보유. MIT 라이센스
- 버전 : 1.0.0
- 분할 :
| 나뉘다 | 예 |
|---|---|
'train' | 12744 |
- 특징 :
{
"storyId": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"type": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"questions": {
"feature": {
"q": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"isAnswerAbsent": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"isQuestionBad": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"consensus": {
"s": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"e": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"badQuestion": {
"dtype": "bool",
"id": null,
"_type": "Value"
},
"noAnswer": {
"dtype": "bool",
"id": null,
"_type": "Value"
}
},
"answers": {
"feature": {
"sourcerAnswers": {
"feature": {
"s": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"e": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"badQuestion": {
"dtype": "bool",
"id": null,
"_type": "Value"
},
"noAnswer": {
"dtype": "bool",
"id": null,
"_type": "Value"
}
},
"length": -1,
"id": null,
"_type": "Sequence"
}
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"validated_answers": {
"feature": {
"s": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"e": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"badQuestion": {
"dtype": "bool",
"id": null,
"_type": "Value"
},
"noAnswer": {
"dtype": "bool",
"id": null,
"_type": "Value"
},
"count": {
"dtype": "int32",
"id": null,
"_type": "Value"
}
},
"length": -1,
"id": null,
"_type": "Sequence"
}
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
나뉘다
TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.
ds = tfds.load('huggingface:newsqa/split')
- 설명 :
NewsQA is a challenging machine comprehension dataset of over 100,000 human-generated question-answer pairs. Crowdworkers supply questions and answers based on a set of over 10,000 news articles from CNN, with answers consisting of spans of text from the corresponding articles.
- 라이센스 : NewsQA CodeCopyright (c) Microsoft Corporation 모든 권리 보유. MIT 라이센스
- 버전 : 1.0.0
- 분할 :
| 나뉘다 | 예 |
|---|---|
'test' | 5126 |
'train' | 92549 |
'validation' | 5166 |
- 특징 :
{
"story_id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"story_text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"question": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"answer_token_ranges": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}