asqa

  • 説明:

ASQA は、あいまいなファクトイドの質問に焦点を当てた最初の長形式の質問応答データセットです。以前の長い形式の回答データセットとは異なり、各質問には、長い形式の回答と抽出された質問と回答のペアの両方で注釈が付けられており、生成された文章で回答できるはずです。生成された長い形式の回答は、ROUGE と QA の精度の両方を使用して評価されます。これらの評価指標が人間の判断とよく相関することを示しました。このリポジトリでは、評価コードと共に ASQA データセットをリリースしています: <a href="https://github.com/google-research/language/tree/master/language/asqa">https://github.com/google-research/language/tree/master/language/asqa</a>

スプリット
'dev' 948
'train' 4,353
  • 機能構造:
FeaturesDict({
    'ambiguous_question': Text(shape=(), dtype=string),
    'annotations': Sequence({
        'knowledge': Sequence({
            'content': Text(shape=(), dtype=string),
            'wikipage': Text(shape=(), dtype=string),
        }),
        'long_answer': Text(shape=(), dtype=string),
    }),
    'qa_pairs': Sequence({
        'context': Text(shape=(), dtype=string),
        'question': Text(shape=(), dtype=string),
        'short_answers': Sequence(Text(shape=(), dtype=string)),
        'wikipage': Text(shape=(), dtype=string),
    }),
    'sample_id': int32,
    'wikipages': Sequence({
        'title': Text(shape=(), dtype=string),
        'url': Text(shape=(), dtype=string),
    }),
})
  • 機能のドキュメント:
特徴クラスDtype説明
特徴辞書
ambiguous_question文章ストリングAmbigQA からの明確な質問。
注釈順序 ASQA アノテーターによって作成されたあいまいな質問に対する長い形式の回答。
注釈/知識順序追加の知識のリスト。
注釈/知識/内容文章ストリングウィキペディアからの一節。
注釈/知識/ウィキページ文章ストリングパッセージが引用されたウィキペディアのページのタイトル。
注釈/ロングアンサー文章ストリング注釈。
qa_pairs順序曖昧さ回避に使用される AmbigQA の Q&A ペア。
qa_pairs/コンテキスト文章ストリング追加のコンテキストが提供されました。
qa_pairs/質問文章ストリング
qa_pairs/short_answersシーケンス(テキスト) (なし、)ストリングAmbigQA からの短い回答のリスト。
qa_pairs/wikipage文章ストリング追加のコンテキストが取得された Wikipedia ページのタイトル。
sample_idテンソルint32
ウィキページ順序 AmbigQA アノテーターがアクセスした Wikipedia ページのリスト。
ウィキページ/タイトル文章ストリングウィキペディアのページのタイトル。
ウィキページ/URL文章ストリングウィキペディアのページにリンクします。
  • 引用
@misc{https://doi.org/10.48550/arxiv.2204.06092,
doi = {10.48550/ARXIV.2204.06092},
url = {https://arxiv.org/abs/2204.06092},
author = {Stelmakh, Ivan and Luan, Yi and Dhingra, Bhuwan and Chang, Ming-Wei},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {ASQA: Factoid Questions Meet Long-Form Answers},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org perpetual, non-exclusive license}
}