- opis :
Przetłumacz zestaw danych na podstawie danych z statmt.org.
Wersje istnieją dla różnych lat przy użyciu kombinacji wielu źródeł danych. Podstawowy wmt_translate
umożliwia utworzenie własnej konfiguracji w celu wybrania własnej pary danych/języka poprzez utworzenie niestandardowego tfds.translate.wmt.WmtConfig
.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
Dodatkowa dokumentacja : Przeglądaj dokumenty z kodem na
Strona główna : http://www.statmt.org/wmt14/translation-task.html
Kod źródłowy :
tfds.translate.Wmt14Translate
Wersje :
-
1.0.0
(domyślnie): Brak informacji o wersji.
-
Instrukcje ręcznego pobierania : ten zestaw danych wymaga ręcznego pobrania danych źródłowych do katalogu
download_config.manual_dir
(domyślnie~/tensorflow_datasets/downloads/manual/
):
Niektóre konfiguracje wmt tutaj wymagają ręcznego pobrania. Zajrzyj do pliku wmt.py, aby zobaczyć dokładną ścieżkę (i nazwę pliku), który należy pobrać.Rysunek ( tfds.show_examples ): Nieobsługiwany.
Cytat :
@InProceedings{bojar-EtAl:2014:W14-33,
author = {Bojar, Ondrej and Buck, Christian and Federmann, Christian and Haddow, Barry and Koehn, Philipp and Leveling, Johannes and Monz, Christof and Pecina, Pavel and Post, Matt and Saint-Amand, Herve and Soricut, Radu and Specia, Lucia and Tamchyna, Ale
{s} },
title = {Findings of the 2014 Workshop on Statistical Machine Translation},
booktitle = {Proceedings of the Ninth Workshop on Statistical Machine Translation},
month = {June},
year = {2014},
address = {Baltimore, Maryland, USA},
publisher = {Association for Computational Linguistics},
pages = {12--58},
url = {http://www.aclweb.org/anthology/W/W14/W14-3302}
}
wmt14_translate/cs-en (domyślna konfiguracja)
Opis konfiguracji: zestaw danych zadania tłumaczenia WMT 2014 cs-en.
Rozmiar pliku do pobrania :
1.58 GiB
Rozmiar zestawu danych :
2.89 GiB
Automatyczne buforowanie ( dokumentacja ): Nie
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 3003 |
'train' | 15 786 979 |
'validation' | 3000 |
- Struktura funkcji :
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
cs | Tekst | strunowy | ||
en | Tekst | strunowy |
Nadzorowane klucze (zobacz
as_supervised
doc ):('cs', 'en')
Przykłady ( tfds.as_dataframe ):
wmt14_translate/de-en
Opis konfiguracji: zestaw danych zadania tłumaczenia WMT 2014 de-en.
Rozmiar pliku do pobrania :
1.58 GiB
Rozmiar zestawu danych :
1.36 GiB
Automatyczne buforowanie ( dokumentacja ): Nie
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 3003 |
'train' | 4508785 |
'validation' | 3000 |
- Struktura funkcji :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
de | Tekst | strunowy | ||
en | Tekst | strunowy |
Nadzorowane klucze (Zobacz
as_supervised
doc ):('de', 'en')
Przykłady ( tfds.as_dataframe ):
wmt14_translate/fr-en
Opis konfiguracji: zestaw danych zadania tłumaczenia WMT 2014 fr-en.
Rozmiar pliku do pobrania :
6.20 GiB
Rozmiar zestawu danych :
14.65 GiB
Automatyczne buforowanie ( dokumentacja ): Nie
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 3003 |
'train' | 40 836 876 |
'validation' | 3000 |
- Struktura funkcji :
Translation({
'en': Text(shape=(), dtype=string),
'fr': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
en | Tekst | strunowy | ||
fr | Tekst | strunowy |
Nadzorowane klucze (zobacz
as_supervised
doc ):('fr', 'en')
Przykłady ( tfds.as_dataframe ):
wmt14_translate/hi-en
Opis konfiguracji: Zestaw danych zadania tłumaczenia hi-en WMT 2014.
Rozmiar pliku do pobrania :
44.65 MiB
Rozmiar zestawu danych :
77.53 MiB
Automatyczne buforowanie ( dokumentacja ): Tak
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 2507 |
'train' | 313748 |
'validation' | 520 |
- Struktura funkcji :
Translation({
'en': Text(shape=(), dtype=string),
'hi': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
en | Tekst | strunowy | ||
cześć | Tekst | strunowy |
Nadzorowane klucze (Zobacz
as_supervised
doc ):('hi', 'en')
Przykłady ( tfds.as_dataframe ):
wmt14_translate/ru-en
Opis konfiguracji: zestaw danych zadania tłumaczenia WMT 2014 ru-en.
Rozmiar pliku do pobrania :
998.38 MiB
Rozmiar zestawu danych :
839.40 MiB
Automatyczne buforowanie ( dokumentacja ): Nie
Podziały :
Rozdzielać | Przykłady |
---|---|
'test' | 3003 |
'train' | 2 486 965 |
'validation' | 3000 |
- Struktura funkcji :
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
en | Tekst | strunowy | ||
ru | Tekst | strunowy |
Nadzorowane klucze (Zobacz
as_supervised
doc ):('ru', 'en')
Przykłady ( tfds.as_dataframe ):