- Descrição :
BLiMP é um desafio definido para avaliar o que os modelos de linguagem (LMs) sabem sobre os principais fenômenos gramaticais em inglês. O BLiMP consiste em 67 subconjuntos de dados, cada um contendo 1000 pares mínimos que isolam contrastes específicos na sintaxe, morfologia ou semântica. Os dados são gerados automaticamente de acordo com gramáticas elaboradas por especialistas.
Documentação Adicional : Explore em Papers With Code
Página inicial : https://github.com/alexwarstadt/blimp/tree/master/
Código-fonte :
tfds.datasets.blimp.Builder
Versões :
-
0.1.0
(padrão): sem notas de versão.
-
Cache automático ( documentação ): Sim
Divisões :
Dividir | Exemplos |
---|---|
'train' | 1.000 |
- Estrutura de recursos :
FeaturesDict({
'UID': Text(shape=(), dtype=string),
'field': Text(shape=(), dtype=string),
'lexically_identical': bool,
'linguistics_term': Text(shape=(), dtype=string),
'one_prefix_method': bool,
'pair_id': int32,
'sentence_bad': Text(shape=(), dtype=string),
'sentence_good': Text(shape=(), dtype=string),
'simple_LM_method': bool,
'two_prefix_method': bool,
})
- Documentação do recurso :
Característica | Classe | Forma | Tipo D | Descrição |
---|---|---|---|---|
RecursosDict | ||||
UID | Texto | corda | ||
campo | Texto | corda | ||
lexicalmente_idêntico | tensor | bool | ||
linguística_termo | Texto | corda | ||
one_prefix_method | tensor | bool | ||
pair_id | tensor | int32 | ||
frase_ruim | Texto | corda | ||
frase_boa | Texto | corda | ||
simple_LM_method | tensor | bool | ||
two_prefix_method | tensor | bool |
Chaves supervisionadas (Consulte
as_supervised
doc ):None
Figura ( tfds.show_examples ): Não suportado.
Citação :
@article{warstadt2019blimp,
title={BLiMP: A Benchmark of Linguistic Minimal Pairs for English},
author={Warstadt, Alex and Parrish, Alicia and Liu, Haokun and Mohananey, Anhad and Peng, Wei, and Wang, Sheng-Fu and Bowman, Samuel R},
journal={arXiv preprint arXiv:1912.00582},
year={2019}
}
blimp/adjunct_island (configuração padrão)
Descrição da configuração : Esta configuração inclui o paradigma adjunct_island.
Tamanho do download :
350.86 KiB
Tamanho do conjunto de dados :
366.47 KiB
Exemplos ( tfds.as_dataframe ):
blimp/anaphor_gender_agreement
Descrição da configuração : esta configuração inclui o paradigma anaphor_gender_agreement.
Tamanho do download :
426.51 KiB
Tamanho do conjunto de dados :
332.31 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/anaphor_number_agreement
Descrição da configuração : esta configuração inclui o paradigma anaphor_number_agreement.
Tamanho do download :
440.29 KiB
Tamanho do conjunto de dados :
341.07 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/animate_subject_passive
Descrição da configuração : Esta configuração inclui o paradigma animate_subject_passive.
Tamanho do download :
451.46 KiB
Tamanho do conjunto de dados :
345.50 KiB
Exemplos ( tfds.as_dataframe ):
blimp/animate_subject_trans
Descrição da configuração : Esta configuração inclui o paradigma animate_subject_trans.
Tamanho do download :
422.95 KiB
Tamanho do conjunto de dados :
329.27 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/causativo
Descrição da configuração : Esta configuração inclui o paradigma causativo.
Tamanho do download :
309.73 KiB
Tamanho do conjunto de dados :
324.36 KiB
Exemplos ( tfds.as_dataframe ):
blimp/complex_NP_island
Descrição da configuração : Esta configuração inclui o paradigma complex_NP_island.
Tamanho do download :
383.17 KiB
Tamanho do conjunto de dados :
398.78 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/coordinate_structure_constraint_complex_left_branch
Descrição da configuração : esta configuração inclui o paradigma coordenar_estrutura_constraint_complex_left_branch.
Tamanho do download :
558.30 KiB
Tamanho do conjunto de dados :
410.43 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/coordinate_structure_constraint_object_extraction
Descrição da configuração : Esta configuração inclui o paradigma coordenar_estrutura_constraint_object_extraction.
Tamanho do download :
357.47 KiB
Tamanho do conjunto de dados :
372.10 KiB
Exemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_1
Descrição da configuração : esta configuração inclui o paradigma determiner_noun_agreement_1.
Tamanho do download :
457.66 KiB
Tamanho do conjunto de dados :
356.93 KiB
Exemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_2
Descrição da configuração : esta configuração inclui o paradigma determiner_noun_agreement_2.
Tamanho do download :
477.40 KiB
Tamanho do conjunto de dados :
357.01 KiB
Exemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_irregular_1
Descrição da configuração : Esta configuração inclui o paradigma determiner_noun_agreement_irregular_1.
Tamanho do download :
463.80 KiB
Tamanho do conjunto de dados :
365.08 KiB
Exemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_irregular_2
Descrição da configuração : Esta configuração inclui o paradigma determiner_noun_agreement_irregular_2.
Tamanho do download :
479.35 KiB
Tamanho do conjunto de dados :
361.76 KiB
Exemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adj_2
Descrição da configuração : esta configuração inclui o paradigma determiner_noun_agreement_with_adj_2.
Tamanho do download :
514.46 KiB
Tamanho do conjunto de dados :
379.92 KiB
Exemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adj_irregular_1
Descrição da configuração : esta configuração inclui o paradigma determiner_noun_agreement_with_adj_irregular_1.
Tamanho do download :
487.95 KiB
Tamanho do conjunto de dados :
384.67 KiB
Exemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adj_irregular_2
Descrição da configuração : esta configuração inclui o paradigma determiner_noun_agreement_with_adj_irregular_2.
Tamanho do download :
516.14 KiB
Tamanho do conjunto de dados :
384.54 KiB
Exemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adjective_1
Descrição da configuração : esta configuração inclui o paradigma determiner_noun_agreement_with_adjective_1.
Tamanho do download :
492.85 KiB
Tamanho do conjunto de dados :
385.25 KiB
Exemplos ( tfds.as_dataframe ):
blimp/ditractor_agreement_relational_noun
Descrição da configuração : esta configuração inclui o paradigma distraitor_agreement_relational_noun.
Tamanho do download :
513.33 KiB
Tamanho do conjunto de dados :
391.45 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/distractor_agreement_relative_clause
Descrição da configuração : esta configuração inclui o paradigma Hydrator_agreement_relative_clause.
Tamanho do download :
551.53 KiB
Tamanho do conjunto de dados :
416.14 KiB
Exemplos ( tfds.as_dataframe ):
blimp/drop_argument
Descrição da configuração : esta configuração inclui o paradigma drop_argument.
Tamanho do download :
297.07 KiB
Tamanho do conjunto de dados :
311.70 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/ellipsis_n_bar_1
Descrição da configuração : Esta configuração inclui o paradigma ellipsis_n_bar_1.
Tamanho do download :
402.32 KiB
Tamanho do conjunto de dados :
417.06 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/ellipsis_n_bar_2
Descrição da configuração : Esta configuração inclui o paradigma ellipsis_n_bar_2.
Tamanho do download :
417.53 KiB
Tamanho do conjunto de dados :
432.47 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/existencial_there_object_raising
Descrição da configuração : Esta configuração inclui o paradigma existential_there_object_raising.
Tamanho do download :
537.77 KiB
Tamanho do conjunto de dados :
423.00 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/existencial_there_quantifiers_1
Descrição da configuração : Esta configuração inclui o paradigma existential_there_quantifiers_1.
Tamanho do download :
348.95 KiB
Tamanho do conjunto de dados :
363.58 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/existencial_there_quantifiers_2
Descrição da configuração : Esta configuração inclui o paradigma existential_there_quantifiers_2.
Tamanho do download :
350.80 KiB
Tamanho do conjunto de dados :
365.43 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/existencial_there_subject_raising
Descrição da configuração : Esta configuração inclui o paradigma existential_there_subject_raising.
Tamanho do download :
385.21 KiB
Tamanho do conjunto de dados :
399.84 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/expletive_it_object_raising
Descrição da configuração : Esta configuração inclui o paradigma expletive_it_object_raising.
Tamanho do download :
573.88 KiB
Tamanho do conjunto de dados :
437.58 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/incoativo
Descrição da configuração : Esta configuração inclui o paradigma incoativo.
Tamanho do download :
291.71 KiB
Tamanho do conjunto de dados :
306.34 KiB
Exemplos ( tfds.as_dataframe ):
dirigível / intransitivo
Descrição da configuração : Esta configuração inclui o paradigma intransitivo.
Tamanho do download :
298.33 KiB
Tamanho do conjunto de dados :
312.96 KiB
Exemplos ( tfds.as_dataframe ):
blimp/irregular_past_participle_adjectives
Descrição da configuração : Esta configuração inclui o paradigma irregular_past_participle_adjectives.
Tamanho do download :
434.10 KiB
Tamanho do conjunto de dados :
345.74 KiB
Exemplos ( tfds.as_dataframe ):
blimp/irregular_past_participle_verbs
Descrição da configuração : Esta configuração inclui o paradigma irregular_past_participle_verbs.
Tamanho do download :
410.27 KiB
Tamanho do conjunto de dados :
327.21 KiB
Exemplos ( tfds.as_dataframe ):
blimp/irregular_plural_subject_verb_agreement_1
Descrição da configuração : Esta configuração inclui o paradigma irregular_plural_subject_verb_agreement_1.
Tamanho do download :
449.91 KiB
Tamanho do conjunto de dados :
366.17 KiB
Exemplos ( tfds.as_dataframe ):
blimp/irregular_plural_subject_verb_agreement_2
Descrição da configuração : Esta configuração inclui o paradigma irregular_plural_subject_verb_agreement_2.
Tamanho do download :
442.75 KiB
Tamanho do conjunto de dados :
354.70 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/left_branch_island_echo_question
Descrição da configuração : Esta configuração inclui o paradigma left_branch_island_echo_question.
Tamanho do download :
471.31 KiB
Tamanho do conjunto de dados :
348.84 KiB
Exemplos ( tfds.as_dataframe ):
blimp/left_branch_island_simple_question
Descrição da configuração : Esta configuração inclui o paradigma left_branch_island_simple_question.
Tamanho do download :
335.40 KiB
Tamanho do conjunto de dados :
351.01 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/matrix_question_npi_licensor_present
Descrição da configuração : Esta configuração inclui o paradigma matrix_question_npi_licensor_present.
Tamanho do download :
447.08 KiB
Tamanho do conjunto de dados :
354.14 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/npi_present_1
Descrição da configuração : esta configuração inclui o paradigma npi_present_1.
Tamanho do download :
427.75 KiB
Tamanho do conjunto de dados :
339.68 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/npi_present_2
Descrição da configuração : esta configuração inclui o paradigma npi_present_2.
Tamanho do download :
412.24 KiB
Tamanho do conjunto de dados :
329.11 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/only_npi_licensor_present
Descrição da configuração : esta configuração inclui o paradigma only_npi_licensor_present.
Tamanho do download :
448.41 KiB
Tamanho do conjunto de dados :
349.50 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/only_npi_scope
Descrição da configuração : esta configuração inclui o paradigma only_npi_scope.
Tamanho do download :
570.04 KiB
Tamanho do conjunto de dados :
408.52 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/passivo_1
Descrição da configuração : Esta configuração inclui o paradigma passive_1.
Tamanho do download :
332.30 KiB
Tamanho do conjunto de dados :
346.93 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/passivo_2
Descrição da configuração : Esta configuração inclui o paradigma passive_2.
Tamanho do download :
301.12 KiB
Tamanho do conjunto de dados :
315.75 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/principle_A_c_command
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_c_command.
Tamanho do download :
515.32 KiB
Tamanho do conjunto de dados :
388.54 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/princípio_A_case_1
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_case_1.
Tamanho do download :
466.05 KiB
Tamanho do conjunto de dados :
370.87 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/princípio_A_case_2
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_case_2.
Tamanho do download :
481.42 KiB
Tamanho do conjunto de dados :
370.88 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/princípio_A_domain_1
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_domain_1.
Tamanho do download :
488.15 KiB
Tamanho do conjunto de dados :
371.62 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/princípio_A_domain_2
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_domain_2.
Tamanho do download :
481.63 KiB
Tamanho do conjunto de dados :
365.92 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/princípio_A_domain_3
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_domain_3.
Tamanho do download :
501.84 KiB
Tamanho do conjunto de dados :
359.74 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/principle_A_reconstruction
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_reconstrução.
Tamanho do download :
337.40 KiB
Tamanho do conjunto de dados :
353.00 KiB
Exemplos ( tfds.as_dataframe ):
blimp/regular_plural_subject_verb_agreement_1
Descrição da configuração : Esta configuração inclui o paradigma regular_plural_subject_verb_agreement_1.
Tamanho do download :
441.26 KiB
Tamanho do conjunto de dados :
359.56 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/regular_plural_subject_verb_agreement_2
Descrição da configuração : Esta configuração inclui o paradigma regular_plural_subject_verb_agreement_2.
Tamanho do download :
445.78 KiB
Tamanho do conjunto de dados :
354.47 KiB
Exemplos ( tfds.as_dataframe ):
blimp/sentential_negation_npi_licensor_present
Descrição da configuração : Esta configuração inclui o paradigma sentential_negation_npi_licensor_present.
Tamanho do download :
479.49 KiB
Tamanho do conjunto de dados :
372.30 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/sentential_negation_npi_scope
Descrição da configuração : esta configuração inclui o paradigma sentential_negation_npi_scope.
Tamanho do download :
600.52 KiB
Tamanho do conjunto de dados :
431.18 KiB
Exemplos ( tfds.as_dataframe ):
blimp/sentential_subject_island
Descrição da configuração : Esta configuração inclui o paradigma sentential_subject_island.
Tamanho do download :
357.25 KiB
Tamanho do conjunto de dados :
372.86 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/superlative_quantifiers_1
Descrição da configuração : Esta configuração inclui o paradigma superlative_quantifiers_1.
Tamanho do download :
372.25 KiB
Tamanho do conjunto de dados :
360.02 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/superlative_quantifiers_2
Descrição da configuração : Esta configuração inclui o paradigma superlative_quantifiers_2.
Tamanho do download :
504.02 KiB
Tamanho do conjunto de dados :
360.07 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/tough_vs_raising_1
Descrição da configuração : Esta configuração inclui o paradigma tough_vs_raising_1.
Tamanho do download :
334.99 KiB
Tamanho do conjunto de dados :
349.62 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/tough_vs_raising_2
Descrição da configuração : Esta configuração inclui o paradigma tough_vs_raising_2.
Tamanho do download :
355.54 KiB
Tamanho do conjunto de dados :
370.17 KiB
Exemplos ( tfds.as_dataframe ):
dirigível / transitivo
Descrição da configuração : Esta configuração inclui o paradigma transitivo.
Tamanho do download :
449.50 KiB
Tamanho do conjunto de dados :
334.45 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/wh_island
Descrição da configuração : Esta configuração inclui o paradigma wh_island.
Tamanho do download :
438.12 KiB
Tamanho do conjunto de dados :
343.47 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/wh_questions_object_gap
Descrição da configuração : Esta configuração inclui o paradigma wh_questions_object_gap.
Tamanho do download :
378.35 KiB
Tamanho do conjunto de dados :
392.99 KiB
Exemplos ( tfds.as_dataframe ):
blimp/wh_questions_subject_gap
Descrição da configuração : Esta configuração inclui o paradigma wh_questions_subject_gap.
Tamanho do download :
380.84 KiB
Tamanho do conjunto de dados :
395.47 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/wh_questions_subject_gap_long_distance
Descrição da configuração : Esta configuração inclui o paradigma wh_questions_subject_gap_long_distance.
Tamanho do download :
451.82 KiB
Tamanho do conjunto de dados :
466.53 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/wh_vs_that_no_gap
Descrição da configuração : Esta configuração inclui o paradigma wh_vs_that_no_gap.
Tamanho do download :
374.28 KiB
Tamanho do conjunto de dados :
388.91 KiB
Exemplos ( tfds.as_dataframe ):
blimp/wh_vs_that_no_gap_long_distance
Descrição da configuração : Esta configuração inclui o paradigma wh_vs_that_no_gap_long_distance.
Tamanho do download :
431.08 KiB
Tamanho do conjunto de dados :
445.74 KiB
Exemplos ( tfds.as_dataframe ):
dirigível/wh_vs_that_with_gap
Descrição da configuração : Esta configuração inclui o paradigma wh_vs_that_with_gap.
Tamanho do download :
359.16 KiB
Tamanho do conjunto de dados :
373.79 KiB
Exemplos ( tfds.as_dataframe ):
blimp/wh_vs_that_with_gap_long_distance
Descrição da configuração : Esta configuração inclui o paradigma wh_vs_that_with_gap_long_distance.
Tamanho do download :
416.00 KiB
Tamanho do conjunto de dados :
430.63 KiB
Exemplos ( tfds.as_dataframe ):