beir

  • Mô tả :

BEIR là một điểm chuẩn không đồng nhất chứa các nhiệm vụ IR đa dạng. Nó cũng cung cấp một khuôn khổ chung và dễ dàng để đánh giá các mô hình truy xuất dựa trên NLP của bạn trong tiêu chuẩn.

FeaturesDict({
    'passage': Text(shape=(), dtype=tf.string),
    'passage_id': Text(shape=(), dtype=tf.string),
    'passage_metadata': Text(shape=(), dtype=tf.string),
    'query': Text(shape=(), dtype=tf.string),
    'query_id': Text(shape=(), dtype=tf.string),
    'query_metadata': Text(shape=(), dtype=tf.string),
    'score': tf.float32,
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Loại Sự mô tả
Các tính năng
đoạn văn Chữ tf.string
Đoạn_id Chữ tf.string
Đoạn_mẫu_đoạn Chữ tf.string
truy vấn Chữ tf.string
query_id Chữ tf.string
query_metadata Chữ tf.string
ghi bàn Tensor tf.float32
@inproceedings{
    thakur2021beir,
    title={ {BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
    author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
    booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
    year={2021},
    url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}

beir / msmarco (cấu hình mặc định)

  • Kích thước tải xuống : 1.01 GiB

  • Kích thước tập dữ liệu : 4.53 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 8.841.823
'query' 509,962
'test' 9.139
'train' 516.472
'validation' 7.433

beir / trec_covid

  • Kích thước tải xuống : 70.45 MiB

  • Kích thước tập dữ liệu: 292.04 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 171.332
'query' 50
'test' 35.480

beir / nfcorpus

  • Kích thước tải xuống : 2.34 MiB

  • Kích thước tập dữ liệu: 24.94 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

  • Tách :

Tách ra Các ví dụ
'passage' 3.633
'query' 3.237
'test' 3.128
'train' 3.588
'validation' 3.119

beir / nq

  • Kích thước tải xuống : 475.22 MiB

  • Kích thước tập dữ liệu : 1.66 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 2.681.468
'query' 3.452
'test' 4.201

beir / lẩuqa

  • Kích thước tải xuống : 623.73 MiB

  • Kích thước tập dữ liệu : 2.64 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 5,233,329
'query' 97.852
'test' 13.783
'train' 101,307
'validation' 10,335

beir / fiqa

  • Kích thước tải xuống : 17.12 MiB

  • Kích thước tập dữ liệu: 73.39 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

  • Tách :

Tách ra Các ví dụ
'passage' 57.638
'query' 6.648
'test' 1.706
'train' 14.166
'validation' 1.238

beir / arguana

  • Kích thước tải xuống : 3.60 MiB

  • Kích thước tập dữ liệu : 15.08 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

  • Tách :

Tách ra Các ví dụ
'passage' 8.674
'query' 1.406
'test' 1.401

beir / webis_touche2020

  • Kích thước tải xuống : 216.61 MiB

  • Kích thước tập dữ liệu: 747.57 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 382.545
'query' 49
'test' 2.099

beir / cqadupstack.android

  • Kích thước tải xuống : 4.98 GiB

  • Kích thước tập dữ liệu: 883.49 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 22.998
'query' 699
'test' 1.696

beir / cqadupstack.english

  • Kích thước tải xuống : 4.98 GiB

  • Kích thước tập dữ liệu : 3.78 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 40.221
'query' 1.570
'test' 3.765

beir / cqadupstack.gaming

  • Kích thước tải xuống : 4.98 GiB

  • Kích thước tập dữ liệu : 2.64 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 45,301
'query' 1.595
'test' 2.263

beir / cqadupstack.gis

  • Kích thước tải xuống : 4.98 GiB

  • Kích thước tập dữ liệu : 1.47 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 37.637
'query' 885
'test' 1.114

beir / cqadupstack.mathematica

  • Kích thước tải xuống : 4.98 GiB

  • Kích thước tập dữ liệu : 1.58 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 16.705
'query' 804
'test' 1.358

beir / cqadupstack.physics

  • Kích thước tải xuống : 4.98 GiB

  • Kích thước tập dữ liệu : 2.02 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 38.316
'query' 1,039
'test' 1.933

beir / cqadupstack.programmers

  • Kích thước tải xuống : 4.98 GiB

  • Kích thước tập dữ liệu : 2.14 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 32.176
'query' 876
'test' 1.675

beir / cqadupstack.stats

  • Kích thước tải xuống : 4.98 GiB

  • Kích thước tập dữ liệu: 941.07 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 42.269
'query' 652
'test' 913

beir / cqadupstack.tex

  • Kích thước tải xuống : 4.98 GiB

  • Kích thước tập dữ liệu : 21.75 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 68.184
'query' 2.906
'test' 5.154

beir / cqadupstack.unix

  • Kích thước tải xuống : 4.98 GiB

  • Kích thước tập dữ liệu : 2.04 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 47.382
'query' 1,072
'test' 1.693

beir / cqadupstack.webmasters

  • Kích thước tải xuống : 4.98 GiB

  • Kích thước tập dữ liệu: 650.08 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 17.405
'query' 506
'test' 1.395

beir / cqadupstack.wordpress

  • Kích thước tải xuống : 4.98 GiB

  • Kích thước tập dữ liệu: 726.15 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 48.605
'query' 541
'test' 744

beir / quora

  • Kích thước tải xuống : 15.12 MiB

  • Kích thước tập dữ liệu: 121.33 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

  • Tách :

Tách ra Các ví dụ
'passage' 522.931
'query' 15.000
'test' 15.675
'validation' 7.626

beir / dbpedia_entity

  • Kích thước tải xuống : 609.67 MiB

  • Kích thước tập dữ liệu : 2.47 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 4.635.922
'query' 467
'test' 40,724
'validation' 5.658

beir / scidocs

  • Kích thước tải xuống : 135.87 MiB

  • Kích thước tập dữ liệu: 573.04 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 25.657
'query' 1.000
'test' 25.657

beir / sốt

  • Kích thước tải xuống : 1.15 GiB

  • Kích thước tập dữ liệu : 3.70 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 5,416,568
'query' 123.142
'test' 1.499
'train' 12.547
'validation' 1.460

beir / clio_fever

  • Kích thước tải xuống : 1.14 GiB

  • Kích thước tập dữ liệu : 3.64 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Tách :

Tách ra Các ví dụ
'passage' 5,416,593
'query' 1.535
'test' 1.344

beir / scifact

  • Kích thước tải xuống : 2.69 MiB

  • Kích thước tập dữ liệu : 10.16 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

  • Tách :

Tách ra Các ví dụ
'passage' 5.183
'query' 1.109
'test' 283
'train' 565