エクストリーム

  • 説明:

エクストリームベンチマーク

Cross-lingual TRansfer Evaluation of Multilingual Encoders (XTREME) ベンチマークは、事前トレーニング済みの多言語モデルのクロスリンガル一般化能力を評価するためのベンチマークです。類型的に多様な 40 の言語 (12 の言語ファミリにまたがる) をカバーし、さまざまなレベルの構文とセマンティクスについてまとめて推論する必要がある 9 つのタスクが含まれています。 XTREME の言語は、言語の多様性、既存のタスクの範囲、およびトレーニング データの可用性を最大化するように選択されています。これらの中には、ドラヴィダ語のタミル語 (南インド、スリランカ、およびシンガポールで話されている)、テルグ語とマラヤーラム語 (主に南インドで話されている)、ニジェール・コンゴ語のスワヒリ語とヨルバ語など、研究されていない言語が数多くあります。アフリカで。

ベンチマークの完全な説明については、論文を参照してください。

  • ホームページ:

https://sites.research.google/xtreme