- Descrição :
Xtreme Benchmark
O benchmark Cross-lingual TRansfer Evaluation of Multilingual Encoders (XTREME) é um benchmark para a avaliação da capacidade de generalização entre idiomas de modelos multilíngues pré-treinados. Abrange 40 linguagens tipologicamente diversas (abrangendo 12 famílias linguísticas) e inclui nove tarefas que coletivamente exigem raciocínio sobre diferentes níveis de sintaxe e semântica. Os idiomas no XTREME são selecionados para maximizar a diversidade de idiomas, a cobertura em tarefas existentes e a disponibilidade de dados de treinamento. Entre estas estão muitas línguas pouco estudadas, como as línguas dravidianas tâmil (faladas no sul da Índia, Sri Lanka e Cingapura), telugu e malaiala (faladas principalmente no sul da Índia) e as línguas niger-congo suaíli e iorubá, faladas na África.
Para obter uma descrição completa do benchmark, consulte o documento .
- Página inicial :
https://sites.research.google/xtreme
Versões :
-
1.0.0
(padrão): versão inicial
-
Conjuntos de dados na versão padrão :
-
xnli
:xtreme_xnli:1.1.0
-
pawsx
:xtreme_pawsx:1.0.0
-
pos
:xtreme_pos:1.0.0
-
ner
:wikiann:1.0.0
-
xquad
:xquad:3.0.0
-
mlqa
:mlqa:1.0.0
-
tydiqa
:tydi_qa:3.0.0
-
bucc
:bucc:1.0.0
-
tatoeba
:tatoeba:1.0.0
-
Citação :