wsc273

  • Descrição :

WSC273 é um benchmark de raciocínio de senso comum que exige que o sistema leia uma sentença com um pronome ambíguo e selecione o referente desse pronome entre duas opções. Ele contém os primeiros 273 exemplos do Winograd Schema Challenge. Um esquema de Winograd é um par de sentenças que diferem em apenas uma ou duas palavras e que contém uma ambigüidade que é resolvida de maneiras opostas nas duas sentenças e requer o uso de conhecimento de mundo e raciocínio para sua resolução. O esquema leva o nome de um exemplo bem conhecido de Terry Winograd: The city councilmen refused the demonstrators a permit because they [feared/advocated] violence.'' If the word is temido'', então they'' presumably refers to the city council; if it is defendido''então ``eles'' presumivelmente se refere aos manifestantes.

Dividir Exemplos
'test' 273
  • Estrutura de recursos :
FeaturesDict({
    'idx': int32,
    'label': int32,
    'option1': Text(shape=(), dtype=string),
    'option1_normalized': Text(shape=(), dtype=string),
    'option2': Text(shape=(), dtype=string),
    'option2_normalized': Text(shape=(), dtype=string),
    'pronoun_end': int32,
    'pronoun_start': int32,
    'pronoun_text': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
})
  • Documentação do recurso:
Característica Classe Forma Tipo D Descrição
RecursosDict
idx tensor int32
etiqueta tensor int32
Opção 1 Texto corda
option1_normalized Texto corda
opção 2 Texto corda
option2_normalized Texto corda
pronome_end tensor int32
pronome_inicio tensor int32
pronome_texto Texto corda
texto Texto corda
  • Citação :
@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012},
  organization={Citeseer}
}