salient_span_wikipedia

  • Descrição :

Frases da Wikipédia com extensões salientes rotuladas.

@article{guu2020realm,
    title
={REALM: Retrieval-Augmented Language Model Pre-Training},
    author
={Kelvin Guu and Kenton Lee and Zora Tung and Panupong Pasupat and Ming-Wei Chang},
    year
={2020},
    journal
= {arXiv e-prints},
    archivePrefix
= {arXiv},
    eprint
={2002.08909},
}

salient_span_wikipedia/sentences (configuração padrão)

  • Descrição da configuração : Exemplos são sentenças individuais contendo entidades.

  • Tamanho do conjunto de dados : 20.57 GiB

  • Divisões :

Dividir Exemplos
'train' 82.291.706
  • Estrutura de recursos :
FeaturesDict({
   
'spans': Sequence({
       
'limit': int32,
       
'start': int32,
       
'type': string,
   
}),
   
'text': Text(shape=(), dtype=string),
   
'title': Text(shape=(), dtype=string),
})
  • Documentação do recurso:
Funcionalidade Aula Forma Tipo D Descrição
RecursosDict
vãos Seqüência
vãos/limite tensor int32
vãos/início tensor int32
vãos/tipo tensor fragmento
texto Texto fragmento
título Texto fragmento

salient_span_wikipedia/documentos

  • Descrição da configuração : Exemplos de documentos completos.

  • Tamanho do conjunto de dados : 16.52 GiB

  • Divisões :

Dividir Exemplos
'train' 13.353.718
  • Estrutura de recursos :
FeaturesDict({
   
'sentences': Sequence({
       
'limit': int32,
       
'start': int32,
   
}),
   
'spans': Sequence({
       
'limit': int32,
       
'start': int32,
       
'type': string,
   
}),
   
'text': Text(shape=(), dtype=string),
   
'title': Text(shape=(), dtype=string),
})
  • Documentação do recurso:
Funcionalidade Aula Forma Tipo D Descrição
RecursosDict
frases Seqüência
sentenças/limite tensor int32
frases/início tensor int32
vãos Seqüência
vãos/limite tensor int32
vãos/início tensor int32
vãos/tipo tensor fragmento
texto Texto fragmento
título Texto fragmento