落とす

• 説明:

既存の読解力ベンチマークでのシステム パフォーマンスが人間のパフォーマンスに近いかそれを上回っているため、テキストの段落を実際に読むシステムの能力を向上させる新しいハード データセットが必要です。 DROP は、クラウドソーシングされ、敵対的に作成された 96k の質問のベンチマークであり、システムは質問内の参照をおそらく複数の入力位置に解決し、それらに対して個別の操作 (加算、カウント、並べ替えなど) を実行する必要があります。これらの操作では、以前のデータセットで必要だったよりも、段落の内容をより包括的に理解する必要があります。

• 追加のドキュメント:コードを使用したペーパーの探索

• ホームページ: https://allennlp.org/drop

• ソースコード: tfds.text.drop.Drop

• バージョン:

  • 1.0.0 : 初期リリース。
  • 2.0.0 (デフォルト): 回答のすべてのオプションを追加します。

• ダウンロードサイズ: 7.92 MiB

• データセットのサイズ: 116.24 MiB

• 自動キャッシュ(ドキュメント): はい

• スプリット:

スプリット	例
'dev'	9,536
'train'	77,409

• 機能構造:

FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})

• 機能のドキュメント:

特徴	クラス	形	Dtype	説明
	特徴辞書
答え	文章		ストリング
通路	文章		ストリング
query_id	文章		ストリング
質問	文章		ストリング
validated_answers	シーケンス(テキスト)	（なし、）	ストリング

• 監視されたキー( as_supervised docを参照): None

• 図( tfds.show_examples ): サポートされていません。

• 例( tfds.as_dataframe ):

• 引用：

@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}