para_crawl

• Описание :

Параллельные корпуса веб-масштаба для официальных европейских языков.

• Дополнительная документация : изучить документы с кодом

• Домашняя страница : https://paracrawl.eu/releases.html

• Исходный код : tfds.datasets.para_crawl.Builder

• Версии :

  • 1.2.0 (по умолчанию): нет примечаний к выпуску.

• Рисунок ( tfds.show_examples ): не поддерживается.

• Цитата :

@misc {paracrawl,
    title  = "ParaCrawl",
    year   = "2018",
    url    = "http://paracrawl.eu/download.html."
}

para_crawl/enbg (конфигурация по умолчанию)

• Описание конфигурации : набор данных перевода с английского на bg.

• Размер загрузки : 98.94 MiB

• Размер набора данных : 362.46 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	1 039 885

• Структура функции :

Translation({
    'bg': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
бг	Текст		нить
en	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'bg')

• Примеры ( tfds.as_dataframe ):

para_crawl/encs

• Описание конфига : набор данных перевода с английского на cs.

• Размер загрузки : 187.31 MiB

• Размер набора данных : 666.34 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	2 981 949

• Структура функции :

Translation({
    'cs': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
cs	Текст		нить
en	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'cs')

• Примеры ( tfds.as_dataframe ):

para_crawl/энда

• Описание конфигурации : набор данных перевода с английского на да.

• Размер загрузки : 174.34 MiB

• Размер набора данных : 619.77 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	2 414 895

• Структура функции :

Translation({
    'da': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
да	Текст		нить
en	Текст		нить

• Контролируемые ключи (см. as_supervised doc ): ('en', 'da')

• Примеры ( tfds.as_dataframe ):

para_crawl/ende

• Описание конфигурации : набор данных для перевода с английского на de.

• Размер загрузки : 1.22 GiB

• Размер набора данных : 4.04 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	16 264 448

• Структура функции :

Translation({
    'de': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
де	Текст		нить
en	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'de')

• Примеры ( tfds.as_dataframe ):

para_crawl/enel

• Описание конфига : Набор данных перевода с английского на эл.

• Размер загрузки : 184.59 MiB

• Размер набора данных : 698.75 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	1 985 233

• Структура функции :

Translation({
    'el': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
Эль	Текст		нить
en	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'el')

• Примеры ( tfds.as_dataframe ):

para_crawl/enes

• Описание конфигурации : набор данных перевода с английского на английский.

• Размер загрузки : 1.82 GiB

• Размер набора данных : 6.23 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	21 987 267

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'es': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
эс	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'es')

• Примеры ( tfds.as_dataframe ):

para_crawl/enet

• Описание конфига : набор данных перевода с английского на др.

• Размер загрузки : 66.91 MiB .

• Размер набора данных : 209.16 MiB .

• Автокэширование ( документация ): только когда shuffle_files=False (поезд)

• Сплиты :

Расколоть	Примеры
'train'	853 422

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'et': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
эт	Текст		нить

• Контролируемые ключи (см. as_supervised doc ): ('en', 'et')

• Примеры ( tfds.as_dataframe ):

para_crawl/enfi

• Описание конфигурации : Набор данных для перевода с английского на fi.

• Размер загрузки : 151.83 MiB

• Размер набора данных : 543.85 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	2 156 069

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'fi': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
фи	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'fi')

• Примеры ( tfds.as_dataframe ):

para_crawl/enfr

• Описание конфигурации : Набор данных для перевода с английского на фр.

• Размер загрузки : 2.63 GiB

• Размер набора данных : 9.04 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	31 374 161

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'fr': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
фр	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'fr')

• Примеры ( tfds.as_dataframe ):

para_crawl/энга

• Описание конфигурации : Набор данных для перевода с английского на ga.

• Размер загрузки : 28.03 MiB

• Размер набора данных : 107.09 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

Расколоть	Примеры
'train'	357 399

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'ga': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
Га	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'ga')

• Примеры ( tfds.as_dataframe ):

para_crawl/enhr

• Описание конфигурации : набор данных для перевода с английского на hr.

• Размер загрузки : 80.97 MiB

• Размер набора данных : 256.37 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	1 002 053

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'hr': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
час	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'hr')

• Примеры ( tfds.as_dataframe ):

para_crawl/enhu

• Описание конфигурации : Набор данных для перевода с английского на hu.

• Размер загрузки : 114.24 MiB

• Размер набора данных : 421.40 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	1 901 342

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'hu': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
Ху	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'hu')

• Примеры ( tfds.as_dataframe ):

para_crawl/enit

• Описание конфига : Перевод датасета с английского на него.

• Размер загрузки : 1017.30 MiB

• Размер набора данных : 3.36 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	12 162 239

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'it': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
Это	Текст		нить

• Контролируемые ключи (см. as_supervised doc ): ('en', 'it')

• Примеры ( tfds.as_dataframe ):

para_crawl/enlt

• Описание конфигурации : Набор данных для перевода с английского на lt.

• Размер загрузки : 63.28 MiB

• Размер набора данных : 204.70 MiB .

• Автокэширование ( документация ): только когда shuffle_files=False (поезд)

• Сплиты :

Расколоть	Примеры
'train'	844 643

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'lt': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
л	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'lt')

• Примеры ( tfds.as_dataframe ):

para_crawl/enlv

• Описание конфигурации : набор данных перевода с английского на lv.

• Размер загрузки : 45.17 MiB

• Размер набора данных : 147.09 MiB .

• Автокэширование ( документация ): только когда shuffle_files=False (поезд)

• Сплиты :

Расколоть	Примеры
'train'	553 060

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'lv': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
lv	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'lv')

• Примеры ( tfds.as_dataframe ):

para_crawl/enmt

• Описание конфигурации : Набор данных для перевода с английского на mt.

• Размер загрузки : 18.15 MiB .

• Размер набора данных : 54.36 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

Расколоть	Примеры
'train'	195 502

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'mt': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
метр	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'mt')

• Примеры ( tfds.as_dataframe ):

para_crawl/ennl

• Описание конфигурации : Набор данных перевода с английского на nl.

• Размер загрузки : 400.63 MiB

• Размер набора данных : 1.40 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	5 659 268

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'nl': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
нл	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'nl')

• Примеры ( tfds.as_dataframe ):

para_crawl/enpl

• Описание конфига : набор данных перевода с английского на пл.

• Размер загрузки : 257.90 MiB

• Размер набора данных : 885.63 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	3 503 276

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'pl': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
пл	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'pl')

• Примеры ( tfds.as_dataframe ):

para_crawl/enpt

• Описание конфигурации : набор данных перевода с английского на pt.

• Размер загрузки : 608.62 MiB

• Размер набора данных : 2.05 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	8 141 940

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'pt': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
пт	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'pt')

• Примеры ( tfds.as_dataframe ):

para_crawl/enro

• Описание конфигурации : Набор данных для перевода с английского на ro.

• Размер загрузки : 153.24 MiB

• Размер набора данных : 534.34 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	1 952 043

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'ro': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
Ро	Текст		нить

• Контролируемые ключи (см. as_supervised doc ): ('en', 'ro')

• Примеры ( tfds.as_dataframe ):

para_crawl/ensk

• Описание конфига : набор данных перевода с английского на ск.

• Размер загрузки : 96.61 MiB

• Размер набора данных : 352.91 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	1 591 831

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'sk': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
ск	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'sk')

• Примеры ( tfds.as_dataframe ):

para_crawl/ensl

• Описание конфига : набор данных перевода с английского на сл.

• Размер загрузки : 62.02 MiB

• Размер набора данных : 187.66 MiB .

• Автокэширование ( документация ): только когда shuffle_files=False (поезд)

• Сплиты :

Расколоть	Примеры
'train'	660 161

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'sl': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
сл	Текст		нить

• Контролируемые ключи (см. as_supervised doc ): ('en', 'sl')

• Примеры ( tfds.as_dataframe ):

para_crawl/env

• Описание конфига : Набор данных перевода с английского на св.

• Размер загрузки : 262.76 MiB

• Размер набора данных : 905.72 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

Расколоть	Примеры
'train'	3 476 729

• Структура функции :

Translation({
    'en': Text(shape=(), dtype=string),
    'sv': Text(shape=(), dtype=string),
})

• Документация по функциям :

Особенность	Учебный класс	Форма	Dтип	Описание
	Перевод
en	Текст		нить
св	Текст		нить

• Контролируемые ключи (см . документ as_supervised ): ('en', 'sv')

• Примеры ( tfds.as_dataframe ):