beir

• Mô tả :

BEIR là một điểm chuẩn không đồng nhất chứa các nhiệm vụ IR đa dạng. Nó cũng cung cấp một khuôn khổ chung và dễ dàng để đánh giá các mô hình truy xuất dựa trên NLP của bạn trong tiêu chuẩn.

• Trang chủ : https://github.com/beir-cellar/beir

• Mã nguồn : tfds.text.beir.Beir

• Các phiên bản :

  • 1.0.0 (mặc định): Bản phát hành ban đầu.

• Cấu trúc tính năng :

FeaturesDict({
    'passage': Text(shape=(), dtype=tf.string),
    'passage_id': Text(shape=(), dtype=tf.string),
    'passage_metadata': Text(shape=(), dtype=tf.string),
    'query': Text(shape=(), dtype=tf.string),
    'query_id': Text(shape=(), dtype=tf.string),
    'query_metadata': Text(shape=(), dtype=tf.string),
    'score': tf.float32,
})

• Tài liệu tính năng :

Tính năng	Lớp	Hình dạng	Loại	Sự mô tả
	Các tính năng
đoạn văn	Chữ		tf.string
Đoạn_id	Chữ		tf.string
Đoạn_mẫu_đoạn	Chữ		tf.string
truy vấn	Chữ		tf.string
query_id	Chữ		tf.string
query_metadata	Chữ		tf.string
ghi bàn	Tensor		tf.float32

• Khóa được giám sát (Xem as_supervised doc ): None

• Hình ( tfds.show_examples ): Không được hỗ trợ.

• Trích dẫn :

@inproceedings{
    thakur2021beir,
    title={ {BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
    author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
    booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
    year={2021},
    url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}

beir / msmarco (cấu hình mặc định)

• Kích thước tải xuống : 1.01 GiB

• Kích thước tập dữ liệu : 4.53 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	8.841.823
'query'	509,962
'test'	9.139
'train'	516.472
'validation'	7.433

• Ví dụ ( tfds.as_dataframe ):

beir / trec_covid

• Kích thước tải xuống : 70.45 MiB

• Kích thước tập dữ liệu: 292.04 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	171.332
'query'	50
'test'	35.480

• Ví dụ ( tfds.as_dataframe ):

beir / nfcorpus

• Kích thước tải xuống : 2.34 MiB

• Kích thước tập dữ liệu: 24.94 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

• Tách :

Tách ra	Các ví dụ
'passage'	3.633
'query'	3.237
'test'	3.128
'train'	3.588
'validation'	3.119

• Ví dụ ( tfds.as_dataframe ):

beir / nq

• Kích thước tải xuống : 475.22 MiB

• Kích thước tập dữ liệu : 1.66 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	2.681.468
'query'	3.452
'test'	4.201

• Ví dụ ( tfds.as_dataframe ):

beir / lẩuqa

• Kích thước tải xuống : 623.73 MiB

• Kích thước tập dữ liệu : 2.64 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	5,233,329
'query'	97.852
'test'	13.783
'train'	101,307
'validation'	10,335

• Ví dụ ( tfds.as_dataframe ):

beir / fiqa

• Kích thước tải xuống : 17.12 MiB

• Kích thước tập dữ liệu: 73.39 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

• Tách :

Tách ra	Các ví dụ
'passage'	57.638
'query'	6.648
'test'	1.706
'train'	14.166
'validation'	1.238

• Ví dụ ( tfds.as_dataframe ):

beir / arguana

• Kích thước tải xuống : 3.60 MiB

• Kích thước tập dữ liệu : 15.08 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

• Tách :

Tách ra	Các ví dụ
'passage'	8.674
'query'	1.406
'test'	1.401

• Ví dụ ( tfds.as_dataframe ):

beir / webis_touche2020

• Kích thước tải xuống : 216.61 MiB

• Kích thước tập dữ liệu: 747.57 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	382.545
'query'	49
'test'	2.099

• Ví dụ ( tfds.as_dataframe ):

beir / cqadupstack.android

• Kích thước tải xuống : 4.98 GiB

• Kích thước tập dữ liệu: 883.49 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	22.998
'query'	699
'test'	1.696

• Ví dụ ( tfds.as_dataframe ):

beir / cqadupstack.english

• Kích thước tải xuống : 4.98 GiB

• Kích thước tập dữ liệu : 3.78 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	40.221
'query'	1.570
'test'	3.765

• Ví dụ ( tfds.as_dataframe ):

beir / cqadupstack.gaming

• Kích thước tải xuống : 4.98 GiB

• Kích thước tập dữ liệu : 2.64 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	45,301
'query'	1.595
'test'	2.263

• Ví dụ ( tfds.as_dataframe ):

beir / cqadupstack.gis

• Kích thước tải xuống : 4.98 GiB

• Kích thước tập dữ liệu : 1.47 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	37.637
'query'	885
'test'	1.114

• Ví dụ ( tfds.as_dataframe ):

beir / cqadupstack.mathematica

• Kích thước tải xuống : 4.98 GiB

• Kích thước tập dữ liệu : 1.58 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	16.705
'query'	804
'test'	1.358

• Ví dụ ( tfds.as_dataframe ):

beir / cqadupstack.physics

• Kích thước tải xuống : 4.98 GiB

• Kích thước tập dữ liệu : 2.02 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	38.316
'query'	1,039
'test'	1.933

• Ví dụ ( tfds.as_dataframe ):

beir / cqadupstack.programmers

• Kích thước tải xuống : 4.98 GiB

• Kích thước tập dữ liệu : 2.14 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	32.176
'query'	876
'test'	1.675

• Ví dụ ( tfds.as_dataframe ):

beir / cqadupstack.stats

• Kích thước tải xuống : 4.98 GiB

• Kích thước tập dữ liệu: 941.07 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	42.269
'query'	652
'test'	913

• Ví dụ ( tfds.as_dataframe ):

beir / cqadupstack.tex

• Kích thước tải xuống : 4.98 GiB

• Kích thước tập dữ liệu : 21.75 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	68.184
'query'	2.906
'test'	5.154

• Ví dụ ( tfds.as_dataframe ):

beir / cqadupstack.unix

• Kích thước tải xuống : 4.98 GiB

• Kích thước tập dữ liệu : 2.04 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	47.382
'query'	1,072
'test'	1.693

• Ví dụ ( tfds.as_dataframe ):

beir / cqadupstack.webmasters

• Kích thước tải xuống : 4.98 GiB

• Kích thước tập dữ liệu: 650.08 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	17.405
'query'	506
'test'	1.395

• Ví dụ ( tfds.as_dataframe ):

beir / cqadupstack.wordpress

• Kích thước tải xuống : 4.98 GiB

• Kích thước tập dữ liệu: 726.15 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	48.605
'query'	541
'test'	744

• Ví dụ ( tfds.as_dataframe ):

beir / quora

• Kích thước tải xuống : 15.12 MiB

• Kích thước tập dữ liệu: 121.33 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

• Tách :

Tách ra	Các ví dụ
'passage'	522.931
'query'	15.000
'test'	15.675
'validation'	7.626

• Ví dụ ( tfds.as_dataframe ):

beir / dbpedia_entity

• Kích thước tải xuống : 609.67 MiB

• Kích thước tập dữ liệu : 2.47 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	4.635.922
'query'	467
'test'	40,724
'validation'	5.658

• Ví dụ ( tfds.as_dataframe ):

beir / scidocs

• Kích thước tải xuống : 135.87 MiB

• Kích thước tập dữ liệu: 573.04 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	25.657
'query'	1.000
'test'	25.657

• Ví dụ ( tfds.as_dataframe ):

beir / sốt

• Kích thước tải xuống : 1.15 GiB

• Kích thước tập dữ liệu : 3.70 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	5,416,568
'query'	123.142
'test'	1.499
'train'	12.547
'validation'	1.460

• Ví dụ ( tfds.as_dataframe ):

beir / clio_fever

• Kích thước tải xuống : 1.14 GiB

• Kích thước tập dữ liệu : 3.64 GiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

• Tách :

Tách ra	Các ví dụ
'passage'	5,416,593
'query'	1.535
'test'	1.344

• Ví dụ ( tfds.as_dataframe ):

beir / scifact

• Kích thước tải xuống : 2.69 MiB

• Kích thước tập dữ liệu : 10.16 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

• Tách :

Tách ra	Các ví dụ
'passage'	5.183
'query'	1.109
'test'	283
'train'	565

• Ví dụ ( tfds.as_dataframe ):