imdb_reviews

  • 説明:

大規模な映画レビュー データセット。これは、以前のベンチマーク データセットよりも大幅に多くのデータを含むバイナリ センチメント分類用のデータセットです。トレーニング用に 25,000 の極性の高い映画レビューのセットと、テスト用に 25,000 のセットを提供します。追加のラベルなしデータも使用できます。

スプリット
'test' 25,000
'train' 25,000
'unsupervised' 50,000
@InProceedings{maas-EtAl:2011:ACL-HLT2011,
  author    = {Maas, Andrew L.  and  Daly, Raymond E.  and  Pham, Peter T.  and  Huang, Dan  and  Ng, Andrew Y.  and  Potts, Christopher},
  title     = {Learning Word Vectors for Sentiment Analysis},
  booktitle = {Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies},
  month     = {June},
  year      = {2011},
  address   = {Portland, Oregon, USA},
  publisher = {Association for Computational Linguistics},
  pages     = {142--150},
  url       = {http://www.aclweb.org/anthology/P11-1015}
}

imdb_reviews/plain_text (デフォルト設定)

  • 構成の説明: プレーン テキスト

  • データセットサイズ: 129.83 MiB

  • 機能構造:

FeaturesDict({
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'text': Text(shape=(), dtype=string),
})
  • 機能のドキュメント:
特徴クラスDtype説明
特徴辞書
ラベルクラスラベルint64
文章文章ストリング

imdb_reviews/bytes

  • 構成の説明: tfds.deprecated.text.ByteTextEncoderでバイトレベルのテキスト エンコーディングを使用します

  • データセットのサイズ: 129.88 MiB

  • 機能構造:

FeaturesDict({
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'text': Text(shape=(None,), dtype=int64, encoder=<ByteTextEncoder vocab_size=257>),
})
  • 機能のドキュメント:
特徴クラスDtype説明
特徴辞書
ラベルクラスラベルint64
文章文章(なし、) int64

imdb_reviews/subwords8k

  • 構成の説明: tfds.deprecated.text.SubwordTextEncoderを 8k ボキャブ サイズで使用します

  • データセットのサイズ: 54.72 MiB

  • 機能構造:

FeaturesDict({
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'text': Text(shape=(None,), dtype=int64, encoder=<SubwordTextEncoder vocab_size=8185>),
})
  • 機能のドキュメント:
特徴クラスDtype説明
特徴辞書
ラベルクラスラベルint64
文章文章(なし、) int64

imdb_reviews/subwords32k

  • 構成の説明: 32k ボキャブ サイズのtfds.deprecated.text.SubwordTextEncoderを使用します

  • データセットサイズ: 50.33 MiB

  • 機能構造:

FeaturesDict({
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'text': Text(shape=(None,), dtype=int64, encoder=<SubwordTextEncoder vocab_size=32650>),
})
  • 機能のドキュメント:
特徴クラスDtype説明
特徴辞書
ラベルクラスラベルint64
文章文章(なし、) int64