- 説明:
ASQA は、あいまいなファクトイドの質問に焦点を当てた最初の長形式の質問応答データセットです。以前の長い形式の回答データセットとは異なり、各質問には、長い形式の回答と抽出された質問と回答のペアの両方で注釈が付けられており、生成された文章で回答できるはずです。生成された長い形式の回答は、ROUGE と QA の精度の両方を使用して評価されます。これらの評価指標が人間の判断とよく相関することを示しました。このリポジトリでは、評価コードと共に ASQA データセットをリリースしています: <a href="https://github.com/google-research/language/tree/master/language/asqa">https://github.com/google-research/language/tree/master/language/asqa</a>
ホームページ: https://github.com/google-research/language/tree/master/language/asqa
ソース コード:
tfds.datasets.asqa.Builder
バージョン:
-
1.0.0
(デフォルト): 初期リリース。
-
ダウンロードサイズ:
17.86 MiB
データセットのサイズ:
14.50 MiB
自動キャッシュ(ドキュメント): はい
スプリット:
スプリット | 例 |
---|---|
'dev' | 948 |
'train' | 4,353 |
- 機能構造:
FeaturesDict({
'ambiguous_question': Text(shape=(), dtype=string),
'annotations': Sequence({
'knowledge': Sequence({
'content': Text(shape=(), dtype=string),
'wikipage': Text(shape=(), dtype=string),
}),
'long_answer': Text(shape=(), dtype=string),
}),
'qa_pairs': Sequence({
'context': Text(shape=(), dtype=string),
'question': Text(shape=(), dtype=string),
'short_answers': Sequence(Text(shape=(), dtype=string)),
'wikipage': Text(shape=(), dtype=string),
}),
'sample_id': int32,
'wikipages': Sequence({
'title': Text(shape=(), dtype=string),
'url': Text(shape=(), dtype=string),
}),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
特徴辞書 | ||||
ambiguous_question | 文章 | ストリング | AmbigQA からの明確な質問。 | |
注釈 | 順序 | ASQA アノテーターによって作成されたあいまいな質問に対する長い形式の回答。 | ||
注釈/知識 | 順序 | 追加の知識のリスト。 | ||
注釈/知識/内容 | 文章 | ストリング | ウィキペディアからの一節。 | |
注釈/知識/ウィキページ | 文章 | ストリング | パッセージが引用されたウィキペディアのページのタイトル。 | |
注釈/ロングアンサー | 文章 | ストリング | 注釈。 | |
qa_pairs | 順序 | 曖昧さ回避に使用される AmbigQA の Q&A ペア。 | ||
qa_pairs/コンテキスト | 文章 | ストリング | 追加のコンテキストが提供されました。 | |
qa_pairs/質問 | 文章 | ストリング | ||
qa_pairs/short_answers | シーケンス(テキスト) | (なし、) | ストリング | AmbigQA からの短い回答のリスト。 |
qa_pairs/wikipage | 文章 | ストリング | 追加のコンテキストが取得された Wikipedia ページのタイトル。 | |
sample_id | テンソル | int32 | ||
ウィキページ | 順序 | AmbigQA アノテーターがアクセスした Wikipedia ページのリスト。 | ||
ウィキページ/タイトル | 文章 | ストリング | ウィキペディアのページのタイトル。 | |
ウィキページ/URL | 文章 | ストリング | ウィキペディアのページにリンクします。 |
監視されたキー(
as_supervised
docを参照):None
図( tfds.show_examples ): サポートされていません。
例( tfds.as_dataframe ):
- 引用:
@misc{https://doi.org/10.48550/arxiv.2204.06092,
doi = {10.48550/ARXIV.2204.06092},
url = {https://arxiv.org/abs/2204.06092},
author = {Stelmakh, Ivan and Luan, Yi and Dhingra, Bhuwan and Chang, Ming-Wei},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {ASQA: Factoid Questions Meet Long-Form Answers},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org perpetual, non-exclusive license}
}