- Descrição :
Traduza o conjunto de dados com base nos dados de statmt.org.
Existem versões para os diferentes anos usando uma combinação de várias fontes de dados. A base wmt_translate
permite que você crie sua própria configuração para escolher seu próprio par de dados/idioma criando um tfds.translate.wmt.WmtConfig
personalizado.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
Página inicial : http://www.statmt.org/wmt19/translation-task.html
Código -fonte:
tfds.translate.Wmt19Translate
Versões :
-
1.0.0
(padrão): sem notas de versão.
-
Instruções de download manual : este conjunto de dados exige que você baixe os dados de origem manualmente em
download_config.manual_dir
(o padrão é~/tensorflow_datasets/downloads/manual/
):
Algumas das configurações do wmt aqui requerem um download manual. Por favor, olhe em wmt.py para ver o caminho exato (e nome do arquivo) que deve ser baixado.Figura ( tfds.show_examples ): Não suportado.
Citação :
@ONLINE {wmt19translate,
author = "Wikimedia Foundation",
title = "ACL 2019 Fourth Conference on Machine Translation (WMT19), Shared Task: Machine Translation of News",
url = "http://www.statmt.org/wmt19/translation-task.html"
}
wmt19_translate/cs-en (configuração padrão)
Descrição da configuração : conjunto de dados da tarefa de tradução WMT 2019 cs-en.
Tamanho do download :
1.88 GiB
Tamanho do conjunto de dados :
3.64 GiB
Armazenado em cache automaticamente ( documentação ): Não
Divisões :
Dividir | Exemplos |
---|---|
'train' | 20.246.548 |
'validation' | 2.983 |
- Estrutura de recursos :
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Documentação do recurso:
Característica | Classe | Forma | Tipo D | Descrição |
---|---|---|---|---|
Tradução | ||||
cs | Texto | corda | ||
pt | Texto | corda |
Chaves supervisionadas (Consulte
as_supervised
doc ):('cs', 'en')
Exemplos ( tfds.as_dataframe ):
wmt19_translate/de-en
Descrição da configuração : conjunto de dados de tarefa de tradução de-en WMT 2019.
Tamanho do download :
9.71 GiB
Tamanho do conjunto de dados :
8.60 GiB
Armazenado em cache automaticamente ( documentação ): Não
Divisões :
Dividir | Exemplos |
---|---|
'train' | 38.690.334 |
'validation' | 2.998 |
- Estrutura de recursos :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Documentação do recurso:
Característica | Classe | Forma | Tipo D | Descrição |
---|---|---|---|---|
Tradução | ||||
de | Texto | corda | ||
pt | Texto | corda |
Chaves supervisionadas (Consulte
as_supervised
doc ):('de', 'en')
Exemplos ( tfds.as_dataframe ):
wmt19_translate/fi-en
Descrição da configuração : WMT 2019 conjunto de dados de tarefa de tradução fi-en.
Tamanho do download :
959.46 MiB
Tamanho do conjunto de dados :
1.46 GiB
Armazenado em cache automaticamente ( documentação ): Não
Divisões :
Dividir | Exemplos |
---|---|
'train' | 6.587.448 |
'validation' | 3.000 |
- Estrutura de recursos :
Translation({
'en': Text(shape=(), dtype=string),
'fi': Text(shape=(), dtype=string),
})
- Documentação do recurso:
Característica | Classe | Forma | Tipo D | Descrição |
---|---|---|---|---|
Tradução | ||||
pt | Texto | corda | ||
fi | Texto | corda |
Chaves supervisionadas (Consulte
as_supervised
doc ):('fi', 'en')
Exemplos ( tfds.as_dataframe ):
wmt19_translate/gu-en
Descrição da configuração : conjunto de dados da tarefa de tradução gu-en do WMT 2019.
Tamanho do download :
37.03 MiB
Tamanho do conjunto de dados :
1.55 MiB
Cache automático ( documentação ): Sim
Divisões :
Dividir | Exemplos |
---|---|
'train' | 11.670 |
'validation' | 1.998 |
- Estrutura de recursos :
Translation({
'en': Text(shape=(), dtype=string),
'gu': Text(shape=(), dtype=string),
})
- Documentação do recurso:
Característica | Classe | Forma | Tipo D | Descrição |
---|---|---|---|---|
Tradução | ||||
pt | Texto | corda | ||
gu | Texto | corda |
Chaves supervisionadas (Consulte
as_supervised
doc ):('gu', 'en')
Exemplos ( tfds.as_dataframe ):
wmt19_translate/kk-en
Descrição da configuração : conjunto de dados da tarefa de tradução WMT 2019 kk-en.
Tamanho do download :
39.58 MiB
Tamanho do conjunto de dados :
11.82 MiB
Cache automático ( documentação ): Sim
Divisões :
Dividir | Exemplos |
---|---|
'train' | 126.583 |
'validation' | 2.066 |
- Estrutura de recursos :
Translation({
'en': Text(shape=(), dtype=string),
'kk': Text(shape=(), dtype=string),
})
- Documentação do recurso:
Característica | Classe | Forma | Tipo D | Descrição |
---|---|---|---|---|
Tradução | ||||
pt | Texto | corda | ||
kkk | Texto | corda |
Chaves supervisionadas (Consulte
as_supervised
doc ):('kk', 'en')
Exemplos ( tfds.as_dataframe ):
wmt19_translate/lt-en
Descrição da configuração : conjunto de dados da tarefa de tradução WMT 2019 lt-en.
Tamanho do download :
392.20 MiB
Tamanho do conjunto de dados :
537.26 MiB
Armazenado em cache automaticamente ( documentação ): Não
Divisões :
Dividir | Exemplos |
---|---|
'train' | 2.344.893 |
'validation' | 2.000 |
- Estrutura de recursos :
Translation({
'en': Text(shape=(), dtype=string),
'lt': Text(shape=(), dtype=string),
})
- Documentação do recurso:
Característica | Classe | Forma | Tipo D | Descrição |
---|---|---|---|---|
Tradução | ||||
pt | Texto | corda | ||
lt | Texto | corda |
Chaves supervisionadas (Consulte
as_supervised
doc ):('lt', 'en')
Exemplos ( tfds.as_dataframe ):
wmt19_translate/ru-en
Descrição da configuração : WMT 2019 conjunto de dados de tarefa de tradução ru-en.
Tamanho do download :
1.57 GiB
Tamanho do conjunto de dados :
13.95 GiB
Armazenado em cache automaticamente ( documentação ): Não
Divisões :
Dividir | Exemplos |
---|---|
'train' | 38.492.126 |
'validation' | 3.000 |
- Estrutura de recursos :
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- Documentação do recurso:
Característica | Classe | Forma | Tipo D | Descrição |
---|---|---|---|---|
Tradução | ||||
pt | Texto | corda | ||
ru | Texto | corda |
Chaves supervisionadas (Consulte
as_supervised
doc ):('ru', 'en')
Exemplos ( tfds.as_dataframe ):
wmt19_translate/zh-en
Descrição da configuração : Conjunto de dados da tarefa de tradução WMT 2019 zh-en.
Tamanho do download :
770.91 MiB
Tamanho do conjunto de dados :
6.49 GiB
Armazenado em cache automaticamente ( documentação ): Não
Divisões :
Dividir | Exemplos |
---|---|
'train' | 25.986.436 |
'validation' | 3.981 |
- Estrutura de recursos :
Translation({
'en': Text(shape=(), dtype=string),
'zh': Text(shape=(), dtype=string),
})
- Documentação do recurso:
Característica | Classe | Forma | Tipo D | Descrição |
---|---|---|---|---|
Tradução | ||||
pt | Texto | corda | ||
zh | Texto | corda |
Chaves supervisionadas (Consulte
as_supervised
doc ):('zh', 'en')
Exemplos ( tfds.as_dataframe ):
wmt19_translate/fr-de
Descrição da configuração : Conjunto de dados da tarefa de tradução WMT 2019 fr-de.
Tamanho do download :
722.20 MiB
Tamanho do conjunto de dados :
2.39 GiB
Armazenado em cache automaticamente ( documentação ): Não
Divisões :
Dividir | Exemplos |
---|---|
'train' | 9.824.476 |
'validation' | 1.512 |
- Estrutura de recursos :
Translation({
'de': Text(shape=(), dtype=string),
'fr': Text(shape=(), dtype=string),
})
- Documentação do recurso:
Característica | Classe | Forma | Tipo D | Descrição |
---|---|---|---|---|
Tradução | ||||
de | Texto | corda | ||
fr | Texto | corda |
Chaves supervisionadas (ver
as_supervised
doc ):('fr', 'de')
Exemplos ( tfds.as_dataframe ):