- Opis :
Xtreme Benchmark
Test porównawczy Cross-lingual TRANSFER Evaluation of Multilingual Encoders (XTREME) jest punktem odniesienia dla oceny zdolności do wielojęzycznego uogólniania wstępnie wytrenowanych modeli wielojęzycznych. Obejmuje 40 języków zróżnicowanych typologicznie (obejmujących 12 rodzin językowych) i obejmuje dziewięć zadań, które łącznie wymagają rozumowania na różnych poziomach składni i semantyki. Języki w XTREME są wybierane tak, aby zmaksymalizować różnorodność językową, pokrycie istniejących zadań i dostępność danych treningowych. Wśród nich jest wiele słabo poznanych języków, takich jak drawidyjskie języki tamilski (używane w południowych Indiach, Sri Lance i Singapurze), telugu i malajalam (używane głównie w południowych Indiach) oraz języki niger-kongo, którymi mówi się suahili i joruba. w Afryce.
Pełny opis testu porównawczego znajduje się w artykule .
- Strona główna :
https://sites.research.google/xtreme
Wersje :
-
1.0.0
(domyślnie): Pierwsze wydanie
-
Zbiory danych w wersji domyślnej :
-
xnli
:xtreme_xnli:1.1.0
-
pawsx
:xtreme_pawsx:1.0.0
- pozycja:
pos
xtreme_pos:1.0.0
-
ner
:wikiann:1.0.0
-
xquad
:xquad:3.0.0
-
mlqa
:mlqa:1.0.0
-
tydiqa
:tydi_qa:3.0.0
-
bucc
:bucc:1.0.0
-
tatoeba
:tatoeba:1.0.0
-
Cytat :