- توضیحات :
BEIR یک معیار ناهمگن حاوی وظایف IR متنوع است. همچنین یک چارچوب مشترک و آسان برای ارزیابی مدلهای بازیابی مبتنی بر NLP شما در معیار ارائه میکند.
اسناد اضافی : کاوش در کاغذها با کد
صفحه اصلی : https://github.com/beir-cellar/beir
کد منبع :
tfds.datasets.beir.Builder
نسخه ها :
-
1.0.0
(پیش فرض): انتشار اولیه.
-
ساختار ویژگی :
FeaturesDict({
'passage': Text(shape=(), dtype=string),
'passage_id': Text(shape=(), dtype=string),
'passage_metadata': Text(shape=(), dtype=string),
'query': Text(shape=(), dtype=string),
'query_id': Text(shape=(), dtype=string),
'query_metadata': Text(shape=(), dtype=string),
'score': float32,
})
- مستندات ویژگی :
ویژگی | کلاس | شکل | نوع D | شرح |
---|---|---|---|---|
FeaturesDict | ||||
گذر | متن | رشته | ||
passage_id | متن | رشته | ||
passage_metadata | متن | رشته | ||
پرس و جو | متن | رشته | ||
query_id | متن | رشته | ||
query_metadata | متن | رشته | ||
نمره | تانسور | float32 |
کلیدهای نظارت شده (به
as_supervised
doc مراجعه کنید):None
شکل ( tfds.show_examples ): پشتیبانی نمی شود.
نقل قول :
@inproceedings{
thakur2021beir,
title={ {BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
year={2021},
url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}
beir/msmarco (پیکربندی پیش فرض)
حجم دانلود :
1.01 GiB
حجم مجموعه داده :
4.53 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 8,841,823 |
'query' | 509,962 |
'test' | 9,139 |
'train' | 516,472 |
'validation' | 7,433 |
- مثالها ( tfds.as_dataframe ):
beir/trec_covid
حجم دانلود :
70.45 MiB
حجم مجموعه داده :
292.04 MiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 171,332 |
'query' | 50 |
'test' | 35,480 |
- مثالها ( tfds.as_dataframe ):
beir/nfcorpus
حجم دانلود :
2.34 MiB
حجم مجموعه داده :
24.94 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 3,633 |
'query' | 3,237 |
'test' | 3,128 |
'train' | 3,588 |
'validation' | 3,119 |
- مثالها ( tfds.as_dataframe ):
beir/nq
حجم دانلود :
475.22 MiB
حجم مجموعه داده :
1.66 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 2,681,468 |
'query' | 3,452 |
'test' | 4,201 |
- مثالها ( tfds.as_dataframe ):
beir/hotpotqa
حجم دانلود :
623.73 MiB
حجم مجموعه داده :
2.64 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 5,233,329 |
'query' | 97,852 |
'test' | 13783 |
'train' | 101,307 |
'validation' | 10,335 |
- مثالها ( tfds.as_dataframe ):
بیر/فیقا
حجم دانلود :
17.12 MiB
حجم مجموعه داده :
73.39 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 57638 |
'query' | 6648 |
'test' | 1,706 |
'train' | 14,166 |
'validation' | 1,238 |
- مثالها ( tfds.as_dataframe ):
بیر/آرگوانا
حجم دانلود :
3.60 MiB
حجم مجموعه داده :
15.08 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 8674 |
'query' | 1,406 |
'test' | 1,401 |
- مثالها ( tfds.as_dataframe ):
beir/webis_touche2020
حجم دانلود :
216.61 MiB
حجم مجموعه داده :
747.57 MiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 382,545 |
'query' | 49 |
'test' | 2099 |
- مثالها ( tfds.as_dataframe ):
beir/cqadupstack.android
حجم دانلود :
4.98 GiB
حجم مجموعه داده :
883.49 MiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 22998 |
'query' | 699 |
'test' | 1696 |
- مثالها ( tfds.as_dataframe ):
beir/cqadupstack.english
حجم دانلود :
4.98 GiB
حجم مجموعه داده :
3.78 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 40,221 |
'query' | 1570 |
'test' | 3765 |
- مثالها ( tfds.as_dataframe ):
beir/cqadupstack.gaming
حجم دانلود :
4.98 GiB
حجم مجموعه داده :
2.64 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 45,301 |
'query' | 1595 |
'test' | 2263 |
- مثالها ( tfds.as_dataframe ):
beir/cqadupstack.gis
حجم دانلود :
4.98 GiB
حجم مجموعه داده :
1.47 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 37637 |
'query' | 885 |
'test' | 1,114 |
- مثالها ( tfds.as_dataframe ):
beir/cqadupstack.mathematica
حجم دانلود :
4.98 GiB
حجم مجموعه داده :
1.58 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 16705 |
'query' | 804 |
'test' | 1,358 |
- مثالها ( tfds.as_dataframe ):
beir/cqadupstack.physics
حجم دانلود :
4.98 GiB
حجم مجموعه داده :
2.02 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 38,316 |
'query' | 1039 |
'test' | 1,933 |
- مثالها ( tfds.as_dataframe ):
beir/cqadupstack.programmers
حجم دانلود :
4.98 GiB
حجم مجموعه داده :
2.14 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 32,176 |
'query' | 876 |
'test' | 1675 |
- مثالها ( tfds.as_dataframe ):
beir/cqadupstack.stats
حجم دانلود :
4.98 GiB
حجم مجموعه داده :
941.07 MiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 42269 |
'query' | 652 |
'test' | 913 |
- مثالها ( tfds.as_dataframe ):
beir/cqadupstack.tex
حجم دانلود :
4.98 GiB
حجم مجموعه داده :
21.75 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 68,184 |
'query' | 2906 |
'test' | 5,154 |
- مثالها ( tfds.as_dataframe ):
beir/cqadupstack.unix
حجم دانلود :
4.98 GiB
حجم مجموعه داده :
2.04 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 47,382 |
'query' | 1072 |
'test' | 1693 |
- مثالها ( tfds.as_dataframe ):
beir/cqadupstack.webmasters
حجم دانلود :
4.98 GiB
حجم مجموعه داده :
650.08 MiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 17,405 |
'query' | 506 |
'test' | 1,395 |
- مثالها ( tfds.as_dataframe ):
beir/cqadupstack.wordpress
حجم دانلود :
4.98 GiB
حجم مجموعه داده :
726.15 MiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 48605 |
'query' | 541 |
'test' | 744 |
- مثالها ( tfds.as_dataframe ):
beir/quora
حجم دانلود :
15.12 MiB
حجم مجموعه داده :
121.33 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 522,931 |
'query' | 15000 |
'test' | 15675 |
'validation' | 7,626 |
- مثالها ( tfds.as_dataframe ):
beir/dbpedia_entity
حجم دانلود :
609.67 MiB
حجم مجموعه داده :
2.47 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 4,635,922 |
'query' | 467 |
'test' | 40,724 |
'validation' | 5,658 |
- مثالها ( tfds.as_dataframe ):
beir/scidocs
حجم دانلود :
135.87 MiB
حجم مجموعه داده :
573.04 MiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 25657 |
'query' | 1000 |
'test' | 25657 |
- مثالها ( tfds.as_dataframe ):
بیر/تب
حجم دانلود :
1.15 GiB
حجم مجموعه داده :
3.70 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 5,416,568 |
'query' | 123,142 |
'test' | 1,499 |
'train' | 12547 |
'validation' | 1,460 |
- مثالها ( tfds.as_dataframe ):
beir/climate_fever
حجم دانلود :
1.14 GiB
حجم مجموعه داده :
3.64 GiB
ذخیره خودکار ( اسناد ): خیر
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 5,416,593 |
'query' | 1,535 |
'test' | 1,344 |
- مثالها ( tfds.as_dataframe ):
beir/scifact
حجم دانلود :
2.69 MiB
حجم مجموعه داده :
10.16 MiB
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
شکاف | مثال ها |
---|---|
'passage' | 5,183 |
'query' | 1,109 |
'test' | 283 |
'train' | 565 |
- مثالها ( tfds.as_dataframe ):