بال زدن

  • توضیحات :

BLiMP یک مجموعه چالش برای ارزیابی آنچه مدل های زبان (LMs) در مورد پدیده های دستوری اصلی در زبان انگلیسی می دانند است. BLiMP شامل 67 زیر مجموعه داده است که هر کدام شامل 1000 جفت حداقلی است که تضادهای خاصی را در نحو، مورفولوژی یا معناشناسی جدا می کند. داده ها به طور خودکار بر اساس دستور زبان های متخصص ساخته می شوند.

شکاف مثال ها
'train' 1000
  • ساختار ویژگی :
FeaturesDict({
    'UID': Text(shape=(), dtype=string),
    'field': Text(shape=(), dtype=string),
    'lexically_identical': bool,
    'linguistics_term': Text(shape=(), dtype=string),
    'one_prefix_method': bool,
    'pair_id': int32,
    'sentence_bad': Text(shape=(), dtype=string),
    'sentence_good': Text(shape=(), dtype=string),
    'simple_LM_method': bool,
    'two_prefix_method': bool,
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
UID متن رشته
رشته متن رشته
واژگانی_یکسان تانسور بوول
اصطلاح_زبان شناسی متن رشته
one_prefix_method تانسور بوول
pair_id تانسور int32
جمله_بد متن رشته
جمله_خوب متن رشته
simple_LM_method تانسور بوول
two_prefix_method تانسور بوول
@article{warstadt2019blimp,
  title={BLiMP: A Benchmark of Linguistic Minimal Pairs for English},
  author={Warstadt, Alex and Parrish, Alicia and Liu, Haokun and Mohananey, Anhad and Peng, Wei, and Wang, Sheng-Fu and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1912.00582},
  year={2019}
}

blimp/adjunct_island (پیکربندی پیش فرض)

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم adjunct_island است.

  • حجم دانلود : 350.86 KiB

  • اندازه مجموعه داده : 366.47 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/anaphor_gender_agreement

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم anaphor_gender_agreement است.

  • حجم دانلود : 426.51 KiB

  • اندازه مجموعه داده : 332.31 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/anaphor_number_agreement

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم anaphor_number_agreement است.

  • حجم دانلود : 440.29 KiB

  • اندازه مجموعه داده : 341.07 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/animate_subject_passive

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم animate_subject_passive است.

  • حجم دانلود : 451.46 KiB

  • اندازه مجموعه داده : 345.50 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/animate_subject_trans

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم animate_subject_trans است.

  • حجم دانلود : 422.95 KiB

  • حجم مجموعه داده : 329.27 KiB

  • مثال‌ها ( tfds.as_dataframe ):

بال زدن / مسبب

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم علت است.

  • حجم دانلود : 309.73 KiB

  • حجم مجموعه داده : 324.36 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/complex_NP_island

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم complex_NP_island است.

  • حجم دانلود : 383.17 KiB

  • حجم مجموعه داده : 398.78 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/coordinate_structure_constraint_complex_left_branch

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم مختصات_structure_constraint_complex_left_branch است.

  • حجم دانلود : 558.30 KiB

  • حجم مجموعه داده : 410.43 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/coordinate_structure_constraint_object_extraction

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم مختصات_structure_constraint_object_extraction است.

  • حجم دانلود : 357.47 KiB

  • حجم مجموعه داده : 372.10 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/determiner_noun_agreement_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_1 است.

  • حجم دانلود : 457.66 KiB

  • حجم مجموعه داده : 356.93 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/determiner_noun_agreement_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_2 است.

  • حجم دانلود : 477.40 KiB

  • اندازه مجموعه داده : 357.01 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/determiner_noun_agreement_irregular_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_irregular_1 است.

  • حجم دانلود : 463.80 KiB

  • اندازه مجموعه داده : 365.08 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/determiner_noun_agreement_irregular_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_irregular_2 است.

  • حجم دانلود : 479.35 KiB

  • حجم مجموعه داده : 361.76 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/determiner_noun_agreement_with_adj_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_with_adj_2 است.

  • حجم دانلود : 514.46 KiB

  • اندازه مجموعه داده : 379.92 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/determiner_noun_agreement_with_adj_irregular_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_with_adj_irregular_1 است.

  • حجم دانلود : 487.95 KiB

  • اندازه مجموعه داده : 384.67 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/determiner_noun_agreement_with_adj_irregular_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_with_adj_irregular_2 است.

  • حجم دانلود : 516.14 KiB

  • حجم مجموعه داده : 384.54 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/determiner_noun_agreement_with_adjective_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_with_adjective_1 است.

  • حجم دانلود : 492.85 KiB

  • حجم مجموعه داده : 385.25 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/distractor_agreement_relational_noun

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم distractor_agreement_relational_noun است.

  • حجم دانلود : 513.33 KiB

  • اندازه مجموعه داده : 391.45 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/distractor_agreement_relative_clause

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم distractor_agreement_relative_clause است.

  • حجم دانلود : 551.53 KiB

  • اندازه مجموعه داده : 416.14 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/drop_argument

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم drop_argument است.

  • حجم دانلود : 297.07 KiB

  • حجم مجموعه داده : 311.70 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/ellipsis_n_bar_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم ellipsis_n_bar_1 است.

  • حجم دانلود : 402.32 KiB

  • حجم مجموعه داده : 417.06 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/ellipsis_n_bar_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم ellipsis_n_bar_2 است.

  • حجم دانلود : 417.53 KiB

  • حجم مجموعه داده : 432.47 KiB

  • مثال‌ها ( tfds.as_dataframe ):

بالا بردن_اشیاء_وجودی/وجودی

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم existential_there_object_raising است.

  • حجم دانلود : 537.77 KiB

  • اندازه مجموعه داده : 423.00 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/existential_there_quantifiers_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم existential_there_quantifiers_1 است.

  • حجم دانلود : 348.95 KiB

  • حجم مجموعه داده : 363.58 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/existential_there_quantifiers_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم existential_there_quantifiers_2 است.

  • حجم دانلود : 350.80 KiB

  • اندازه مجموعه داده : 365.43 KiB

  • مثال‌ها ( tfds.as_dataframe ):

بالا بردن_موضوع_وجودی/وجودی

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم existential_there_subject_raising است.

  • حجم دانلود : 385.21 KiB

  • اندازه مجموعه داده : 399.84 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/expletive_it_object_raising

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم expletive_it_object_raising است.

  • حجم دانلود : 573.88 KiB

  • اندازه مجموعه داده : 437.58 KiB

  • مثال‌ها ( tfds.as_dataframe ):

بالون هوایی / ابداعی

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم inchoative است.

  • حجم دانلود : 291.71 KiB

  • حجم مجموعه داده : 306.34 KiB

  • مثال‌ها ( tfds.as_dataframe ):

بالون هوایی / ناگذر

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم غیرقابل انتقال است.

  • حجم دانلود : 298.33 KiB

  • حجم مجموعه داده : 312.96 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/irregular_past_participle_adjectives

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم irregular_past_participle_adjectives است.

  • حجم دانلود : 434.10 KiB

  • اندازه مجموعه داده : 345.74 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/irregular_past_participle_verbs

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم irregular_past_participle_verbs است.

  • حجم دانلود : 410.27 KiB

  • حجم مجموعه داده : 327.21 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/irregular_plural_subject_verb_agreement_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم irregular_plural_subject_verb_agreement_1 است.

  • حجم دانلود : 449.91 KiB

  • حجم مجموعه داده : 366.17 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/irregular_plural_subject_verb_agreement_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم irregular_plural_subject_verb_agreement_2 است.

  • حجم دانلود : 442.75 KiB

  • اندازه مجموعه داده : 354.70 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/left_branch_island_echo_question

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم left_branch_island_echo_question است.

  • حجم دانلود : 471.31 KiB

  • حجم مجموعه داده : 348.84 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/سوال_ساده_جزیره_شاخه_چپ

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم left_branch_island_simple_question است.

  • حجم دانلود : 335.40 KiB

  • اندازه مجموعه داده : 351.01 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/matrix_question_npi_licensor_present

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم matrix_question_npi_licensor_present است.

  • حجم دانلود : 447.08 KiB

  • اندازه مجموعه داده : 354.14 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/npi_present_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم npi_present_1 است.

  • حجم دانلود : 427.75 KiB

  • حجم مجموعه داده : 339.68 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/npi_present_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم npi_present_2 است.

  • حجم دانلود : 412.24 KiB

  • حجم مجموعه داده : 329.11 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/only_npi_licensor_present

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم only_npi_licensor_present است.

  • حجم دانلود : 448.41 KiB

  • اندازه مجموعه داده : 349.50 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/only_npi_scope

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم only_npi_scope است.

  • حجم دانلود : 570.04 KiB

  • اندازه مجموعه داده : 408.52 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/passive_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم passive_1 است.

  • حجم دانلود : 332.30 KiB

  • حجم مجموعه داده : 346.93 KiB

  • مثال‌ها ( tfds.as_dataframe ):

بالون هوایی/منفعل_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم passive_2 است.

  • حجم دانلود : 301.12 KiB

  • اندازه مجموعه داده : 315.75 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/principle_A_c_command

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_c_command است.

  • حجم دانلود : 515.32 KiB

  • حجم مجموعه داده : 388.54 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/principle_A_case_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_case_1 است.

  • حجم دانلود : 466.05 KiB

  • حجم مجموعه داده : 370.87 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/اصل_A_case_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_case_2 است.

  • حجم دانلود : 481.42 KiB

  • حجم مجموعه داده : 370.88 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/principle_A_domain_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_domain_1 است.

  • حجم دانلود : 488.15 KiB

  • حجم مجموعه داده : 371.62 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/principle_A_domain_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_domain_2 است.

  • حجم دانلود : 481.63 KiB

  • حجم مجموعه داده : 365.92 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/principle_A_domain_3

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_domain_3 است.

  • حجم دانلود : 501.84 KiB

  • اندازه مجموعه داده : 359.74 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/principle_A_reconstruction

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_reconstruction است.

  • حجم دانلود : 337.40 KiB

  • اندازه مجموعه داده : 353.00 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/regular_plural_subject_verb_agreement_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم regular_plural_subject_verb_agreement_1 است.

  • حجم دانلود : 441.26 KiB

  • حجم مجموعه داده : 359.56 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/regular_plural_subject_verb_agreement_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم regular_plural_subject_verb_agreement_2 است.

  • حجم دانلود : 445.78 KiB

  • حجم مجموعه داده : 354.47 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/sentential_negation_npi_licensor_present

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم sentential_negation_npi_licensor_present است.

  • حجم دانلود : 479.49 KiB

  • اندازه مجموعه داده : 372.30 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/sentential_negation_npi_scope

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم sentential_negation_npi_scope است.

  • حجم دانلود : 600.52 KiB

  • حجم مجموعه داده : 431.18 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/sentential_subject_island

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم sentential_subject_island است.

  • حجم دانلود : 357.25 KiB

  • حجم مجموعه داده : 372.86 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/superlative_quantifiers_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم superlative_quantifiers_1 است.

  • حجم دانلود : 372.25 KiB

  • اندازه مجموعه داده : 360.02 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/superlative_quantifiers_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم superlative_quantifiers_2 است.

  • حجم دانلود : 504.02 KiB

  • اندازه مجموعه داده : 360.07 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/tough_vs_raising_1

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم tough_vs_raising_1 است.

  • حجم دانلود : 334.99 KiB

  • حجم مجموعه داده : 349.62 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/tough_vs_raising_2

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم tough_vs_raising_2 است.

  • حجم دانلود : 355.54 KiB

  • حجم مجموعه داده : 370.17 KiB

  • مثال‌ها ( tfds.as_dataframe ):

بالون هوایی / گذرا

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم انتقالی است.

  • حجم دانلود : 449.50 KiB

  • اندازه مجموعه داده : 334.45 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/wh_island

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_island است.

  • حجم دانلود : 438.12 KiB

  • حجم مجموعه داده : 343.47 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/wh_questions_object_gap

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_questions_object_gap است.

  • حجم دانلود : 378.35 KiB

  • اندازه مجموعه داده : 392.99 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/wh_questions_subject_gap

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_questions_subject_gap است.

  • حجم دانلود : 380.84 KiB

  • حجم مجموعه داده : 395.47 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/wh_questions_subject_gap_long_distance

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_questions_subject_gap_long_distance است.

  • حجم دانلود : 451.82 KiB

  • حجم مجموعه داده : 466.53 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/wh_vs_that_no_gap

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_vs_that_no_gap است.

  • حجم دانلود : 374.28 KiB

  • اندازه مجموعه داده : 388.91 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/wh_vs_that_no_gap_long_distance

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_vs_that_no_gap_long_distance است.

  • حجم دانلود : 431.08 KiB

  • حجم مجموعه داده : 445.74 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/wh_vs_that_with_gap

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_vs_that_with_gap است.

  • حجم دانلود : 359.16 KiB

  • حجم مجموعه داده : 373.79 KiB

  • مثال‌ها ( tfds.as_dataframe ):

blimp/wh_vs_that_with_gap_long_distance

  • توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_vs_that_with_gap_long_distance است.

  • حجم دانلود : 416.00 KiB

  • حجم مجموعه داده : 430.63 KiB

  • مثال‌ها ( tfds.as_dataframe ):