asqa

  • Mô tả :

ASQA là bộ dữ liệu trả lời câu hỏi dạng dài đầu tiên tập trung vào các câu hỏi thực tế mơ hồ. Khác với các bộ dữ liệu câu trả lời dạng dài trước đây, mỗi câu hỏi được chú thích bằng cả câu trả lời dạng dài và các cặp câu hỏi-câu trả lời mang tính khai thác, mà đoạn văn được tạo sẽ có thể trả lời được. Câu trả lời dạng dài được tạo sẽ được đánh giá bằng cách sử dụng cả độ chính xác của ROUGE và QA. Chúng tôi đã chỉ ra rằng các số liệu đánh giá này tương quan tốt với sự đánh giá của con người. Trong kho lưu trữ này, chúng tôi phát hành tập dữ liệu ASQA, cùng với mã đánh giá: <a href="https://github.com/google-research/language/tree/master/language/asqa">https://github.com/google-research/language/tree/master/language/asqa</a>

Tách ra ví dụ
'dev' 948
'train' 4.353
  • Cấu trúc tính năng :
FeaturesDict({
    'ambiguous_question': Text(shape=(), dtype=string),
    'annotations': Sequence({
        'knowledge': Sequence({
            'content': Text(shape=(), dtype=string),
            'wikipage': Text(shape=(), dtype=string),
        }),
        'long_answer': Text(shape=(), dtype=string),
    }),
    'qa_pairs': Sequence({
        'context': Text(shape=(), dtype=string),
        'question': Text(shape=(), dtype=string),
        'short_answers': Sequence(Text(shape=(), dtype=string)),
        'wikipage': Text(shape=(), dtype=string),
    }),
    'sample_id': int32,
    'wikipages': Sequence({
        'title': Text(shape=(), dtype=string),
        'url': Text(shape=(), dtype=string),
    }),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
nhập nhằng_câu hỏi Chữ sợi dây Câu hỏi rõ ràng từ AmbigQA.
chú thích Sự phối hợp Câu trả lời dạng dài cho câu hỏi mơ hồ được xây dựng bởi các nhà chú thích ASQA.
chú thích/kiến thức Sự phối hợp Danh sách các phần kiến ​​​​thức bổ sung.
chú thích/kiến thức/nội dung Chữ sợi dây Một đoạn văn từ Wikipedia.
chú thích/kiến thức/wikipage Chữ sợi dây Tiêu đề của trang Wikipedia mà đoạn văn được lấy từ đó.
chú thích/long_answer Chữ sợi dây Chú thích.
qa_pairs Sự phối hợp Các cặp hỏi đáp từ AmbigQA được dùng để định hướng.
qa_pairs/bối cảnh Chữ sợi dây Bối cảnh bổ sung được cung cấp.
qa_pairs/câu hỏi Chữ sợi dây
qa_pairs/short_answers Trình tự (Văn bản) (Không có,) sợi dây Danh sách các câu trả lời ngắn từ AmbigQA.
qa_pairs/trang wiki Chữ sợi dây Tiêu đề của trang Wikipedia lấy bối cảnh bổ sung.
sample_id tenxơ int32
trang wiki Sự phối hợp Danh sách các trang Wikipedia được người chú thích AmbigQA truy cập.
trang wiki/tiêu đề Chữ sợi dây Tiêu đề của trang Wikipedia.
trang wiki/url Chữ sợi dây Liên kết đến trang Wikipedia.
  • trích dẫn :
@misc{https://doi.org/10.48550/arxiv.2204.06092,
doi = {10.48550/ARXIV.2204.06092},
url = {https://arxiv.org/abs/2204.06092},
author = {Stelmakh, Ivan and Luan, Yi and Dhingra, Bhuwan and Chang, Ming-Wei},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {ASQA: Factoid Questions Meet Long-Form Answers},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org perpetual, non-exclusive license}
}