lm1b、lm1b

• 説明:

統計言語モデリングの進捗状況を測定するために使用されるベンチマーク コーパス。これには、トレーニング データにほぼ 10 億語が含まれています。

• 追加のドキュメント:コードを使用したペーパーの探索

• ホームページ: http://www.statmt.org/lm-benchmark/

• ソース コード: tfds.datasets.lm1b.Builder

• バージョン:

  • 1.1.0 (デフォルト): リリース ノートはありません。

• ダウンロードサイズ: 1.67 GiB

• データセットサイズ: 4.40 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

スプリット	例
'test'	306,688
'train'	30,301,028

• 機能構造:

FeaturesDict({
    'text': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	特徴辞書
文章	文章		ストリング

• 監視されたキー( as_supervised docを参照): ('text', 'text')

• 図( tfds.show_examples ): サポートされていません。

• 例( tfds.as_dataframe ):

• 引用：

@article{DBLP:journals/corr/ChelbaMSGBK13,
  author    = {Ciprian Chelba and
               Tomas Mikolov and
               Mike Schuster and
               Qi Ge and
               Thorsten Brants and
               Phillipp Koehn},
  title     = {One Billion Word Benchmark for Measuring Progress in Statistical Language
               Modeling},
  journal   = {CoRR},
  volume    = {abs/1312.3005},
  year      = {2013},
  url       = {http://arxiv.org/abs/1312.3005},
  archivePrefix = {arXiv},
  eprint    = {1312.3005},
  timestamp = {Mon, 13 Aug 2018 16:46:16 +0200},
  biburl    = {https://dblp.org/rec/bib/journals/corr/ChelbaMSGBK13},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}