wmt15_translate

  • Descrição :

Traduza o conjunto de dados com base nos dados de statmt.org.

Existem versões para os diferentes anos usando uma combinação de várias fontes de dados. A base wmt_translate permite que você crie sua própria configuração para escolher seu próprio par de dados/idioma criando um tfds.translate.wmt.WmtConfig personalizado.

config = tfds.translate.wmt.WmtConfig(
    version="0.0.1",
    language_pair=("fr", "de"),
    subsets={
        tfds.Split.TRAIN: ["commoncrawl_frde"],
        tfds.Split.VALIDATION: ["euelections_dev2019"],
    },
)
builder = tfds.builder("wmt_translate", config=config)

@InProceedings{bojar-EtAl:2015:WMT,
  author    = {Bojar, Ond
{r}ej  and  Chatterjee, Rajen  and  Federmann, Christian  and  Haddow, Barry  and  Huck, Matthias  and  Hokamp, Chris  and  Koehn, Philipp  and  Logacheva, Varvara  and  Monz, Christof  and  Negri, Matteo  and  Post, Matt  and  Scarton, Carolina  and  Specia, Lucia  and  Turchi, Marco},
  title     = {Findings of the 2015 Workshop on Statistical Machine Translation},
  booktitle = {Proceedings of the Tenth Workshop on Statistical Machine Translation},
  month     = {September},
  year      = {2015},
  address   = {Lisbon, Portugal},
  publisher = {Association for Computational Linguistics},
  pages     = {1--46},
  url       = {http://aclweb.org/anthology/W15-3001}
}

wmt15_translate/cs-en (configuração padrão)

  • Descrição da configuração : Conjunto de dados da tarefa de tradução WMT 2015 cs-en.

  • Tamanho do download : 1.62 GiB

  • Tamanho do conjunto de dados : 2.89 GiB

  • Divisões :

Dividir Exemplos
'test' 2.656
'train' 15.793.126
'validation' 3.003
  • Estrutura de recursos :
Translation({
    'cs': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})
  • Documentação do recurso:
Característica Classe Forma Tipo D Descrição
Tradução
cs Texto corda
pt Texto corda

wmt15_translate/de-en

  • Descrição da configuração : conjunto de dados de tarefa de tradução de-en WMT 2015.

  • Tamanho do download : 1.62 GiB

  • Tamanho do conjunto de dados : 1.37 GiB

  • Divisões :

Dividir Exemplos
'test' 2.169
'train' 4.522.998
'validation' 3.003
  • Estrutura de recursos :
Translation({
    'de': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})
  • Documentação do recurso:
Característica Classe Forma Tipo D Descrição
Tradução
de Texto corda
pt Texto corda

wmt15_translate/fi-en

  • Descrição da configuração : WMT 2015 conjunto de dados da tarefa de tradução fi-en.

  • Tamanho do download : 260.51 MiB

  • Tamanho do conjunto de dados : 623.22 MiB

  • Divisões :

Dividir Exemplos
'test' 1.370
'train' 2.073.394
'validation' 1.500
  • Estrutura de recursos :
Translation({
    'en': Text(shape=(), dtype=string),
    'fi': Text(shape=(), dtype=string),
})
  • Documentação do recurso:
Característica Classe Forma Tipo D Descrição
Tradução
pt Texto corda
fi Texto corda

wmt15_translate/fr-en

  • Descrição da configuração : WMT 2015 fr-en conjunto de dados da tarefa de tradução.

  • Tamanho do download : 6.24 GiB

  • Tamanho do conjunto de dados : 14.65 GiB

  • Divisões :

Dividir Exemplos
'test' 1.500
'train' 40.853.298
'validation' 4.503
  • Estrutura de recursos :
Translation({
    'en': Text(shape=(), dtype=string),
    'fr': Text(shape=(), dtype=string),
})
  • Documentação do recurso:
Característica Classe Forma Tipo D Descrição
Tradução
pt Texto corda
fr Texto corda

wmt15_translate/ru-en

  • Descrição da configuração : WMT 2015 conjunto de dados de tarefa de tradução ru-en.

  • Tamanho do download : 1.02 GiB

  • Tamanho do conjunto de dados : 843.90 MiB

  • Divisões :

Dividir Exemplos
'test' 2.818
'train' 2.495.081
'validation' 3.003
  • Estrutura de recursos :
Translation({
    'en': Text(shape=(), dtype=string),
    'ru': Text(shape=(), dtype=string),
})
  • Documentação do recurso:
Característica Classe Forma Tipo D Descrição
Tradução
pt Texto corda
ru Texto corda