ted_hrlr_translate

• 説明:

一方が高リソースで、もう一方が低リソースである類似の言語ペアを比較するための TED トーク トランスクリプトから派生したデータ セット。

• ホームページ: https://github.com/neulab/word-embeddings-for-nmt

• ソース コード: tfds.datasets.ted_hrlr_translate.Builder

• バージョン:

  • 1.0.0 (デフォルト): 新しい分割 API ( https://tensorflow.org/datasets/splits )

• ダウンロードサイズ: 124.94 MiB

• 自動キャッシュ(ドキュメント): はい

• 図( tfds.show_examples ): サポートされていません。

• 引用：

@inproceedings{Ye2018WordEmbeddings,
  author  = {Ye, Qi and Devendra, Sachan and Matthieu, Felix and Sarguna, Padmanabhan and Graham, Neubig},
  title   = {When and Why are pre-trained word embeddings useful for Neural Machine Translation},
  booktitle = {HLT-NAACL},
  year    = {2018},
  }

ted_hrlr_translate/az_to_en (デフォルト設定)

• 構成の説明: az から en への平文の翻訳データセット。

• データセットサイズ: 1.61 MiB

• スプリット:

スプリット	例
'test'	903
'train'	5,946
'validation'	671

• 機能構造:

Translation({
    'az': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
から	文章		弦
ja	文章		弦

• 監視キー( as_supervised docを参照): ('az', 'en')

• 例( tfds.as_dataframe ):

ted_hrlr_translate/aztr_to_en

• 構成の説明: プレーン テキストの az_tr から en への翻訳データセット。

• データセットサイズ: 42.54 MiB

• スプリット:

スプリット	例
'test'	903
'train'	188,396
'validation'	671

• 機能構造:

Translation({
    'az_tr': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
az_tr	文章		弦
ja	文章		弦

• 監視されたキー( as_supervised docを参照): ('az_tr', 'en')

• 例( tfds.as_dataframe ):

ted_hrlr_translate/be_to_en

• 構成の説明: be から en への平文の翻訳データセット。

• データセットサイズ: 1.47 MiB

• スプリット:

スプリット	例
'test'	664
'train'	4,509
'validation'	248

• 機能構造:

Translation({
    'be': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
なれ	文章		弦
ja	文章		弦

• 監視されたキー( as_supervised docを参照): ('be', 'en')

• 例( tfds.as_dataframe ):

ted_hrlr_translate/beru_to_ja

• 構成の説明: be_ru から en への平文の翻訳データセット。

• データセットサイズ: 62.45 MiB

• スプリット:

スプリット	例
'test'	664
'train'	212,614
'validation'	248

• 機能構造:

Translation({
    'be_ru': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
be_ru	文章		弦
ja	文章		弦

• 監視されたキー( as_supervised docを参照): ('be_ru', 'en')

• 例( tfds.as_dataframe ):

ted_hrlr_translate/es_to_pt

• 構成の説明: プレーン テキストの es から pt への翻訳データセット。

• データセットサイズ: 9.62 MiB

• スプリット:

スプリット	例
'test'	1,763
'train'	44,938
'validation'	1,016

• 機能構造:

Translation({
    'es': Text(shape=(), dtype=string),
    'pt': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
エス	文章		弦
ポイント	文章		弦

• 監視されたキー( as_supervised docを参照): ('es', 'pt')

• 例( tfds.as_dataframe ):

ted_hrlr_translate/fr_to_pt

• 構成の説明: fr から pt への平文の翻訳データセット。

• データセットのサイズ: 9.74 MiB

• スプリット:

スプリット	例
'test'	1,494
'train'	43,873
'validation'	1,131

• 機能構造:

Translation({
    'fr': Text(shape=(), dtype=string),
    'pt': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
フランス	文章		弦
ポイント	文章		弦

• 監視されたキー( as_supervised docを参照): ('fr', 'pt')

• 例( tfds.as_dataframe ):

ted_hrlr_translate/gl_to_en

• 構成の説明: gl から en への平文の翻訳データセット。

• データセットサイズ: 2.41 MiB

• スプリット:

スプリット	例
'test'	1,007
'train'	10,017
'validation'	682

• 機能構造:

Translation({
    'en': Text(shape=(), dtype=string),
    'gl': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
ja	文章		弦
GL	文章		弦

• 監視されたキー( as_supervised docを参照): ('gl', 'en')

• 例( tfds.as_dataframe ):

ted_hrlr_translate/glpt_to_en

• 構成の説明: gl_pt から en への平文の翻訳データセット。

• データセットのサイズ: 12.90 MiB

• スプリット:

スプリット	例
'test'	1,007
'train'	61,802
'validation'	682

• 機能構造:

Translation({
    'en': Text(shape=(), dtype=string),
    'gl_pt': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
ja	文章		弦
gl_pt	文章		弦

• 監視されたキー( as_supervised docを参照): ('gl_pt', 'en')

• 例( tfds.as_dataframe ):

ted_hrlr_translate/he_to_pt

• 構成の説明: he から pt への平文の翻訳データセット。

• データセットのサイズ: 11.71 MiB

• スプリット:

スプリット	例
'test'	1,623
'train'	48,511
'validation'	1,145

• 機能構造:

Translation({
    'he': Text(shape=(), dtype=string),
    'pt': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
彼	文章		弦
ポイント	文章		弦

• 監視されたキー( as_supervised docを参照): ('he', 'pt')

• 例( tfds.as_dataframe ):

ted_hrlr_translate/it_to_pt

• 構成の説明: it からプレーン テキストの pt への翻訳データセット。

• データセットのサイズ: 9.94 MiB

• スプリット:

スプリット	例
'test'	1,669
'train'	46,259
'validation'	1,162

• 機能構造:

Translation({
    'it': Text(shape=(), dtype=string),
    'pt': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
それ	文章		弦
ポイント	文章		弦

• 監視されたキー( as_supervised docを参照): ('it', 'pt')

• 例( tfds.as_dataframe ):

ted_hrlr_translate/pt_to_en

• 構成の説明: プレーン テキストの pt から en への翻訳データセット。

• データセットのサイズ: 10.89 MiB

• スプリット:

スプリット	例
'test'	1,803
'train'	51,785
'validation'	1,193

• 機能構造:

Translation({
    'en': Text(shape=(), dtype=string),
    'pt': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
ja	文章		弦
ポイント	文章		弦

• 監視されたキー( as_supervised docを参照): ('pt', 'en')

• 例( tfds.as_dataframe ):

ted_hrlr_translate/ru_to_en

• 構成の説明: ru から en への平文の翻訳データセット。

• データセットサイズ: 63.22 MiB

• スプリット:

スプリット	例
'test'	5,476
'train'	208,106
'validation'	4,805

• 機能構造:

Translation({
    'en': Text(shape=(), dtype=string),
    'ru': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
ja	文章		弦
ル	文章		弦

• 監視されたキー( as_supervised docを参照): ('ru', 'en')

• 例( tfds.as_dataframe ):

ted_hrlr_translate/ru_to_pt

• 構成の説明: プレーン テキストの ru から pt への翻訳データセット。

• データセットのサイズ: 13.00 MiB

• スプリット:

スプリット	例
'test'	1,588
'train'	47,278
'validation'	1,184

• 機能構造:

Translation({
    'pt': Text(shape=(), dtype=string),
    'ru': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
ポイント	文章		弦
ル	文章		弦

• 監視されたキー( as_supervised docを参照): ('ru', 'pt')

• 例( tfds.as_dataframe ):

ted_hrlr_translate/tr_to_en

• 構成の説明: 平文の tr から en への翻訳データセット。

• データセットサイズ: 42.33 MiB

• スプリット:

スプリット	例
'test'	5,029
'train'	182,450
'validation'	4,045

• 機能構造:

Translation({
    'en': Text(shape=(), dtype=string),
    'tr': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	翻訳
ja	文章		弦
トレ	文章		弦

• 監視されたキー( as_supervised docを参照): ('tr', 'en')

• 例( tfds.as_dataframe ):