c4_wsrs
コレクションでコンテンツを整理
必要に応じて、コンテンツの保存と分類を行います。
Web スケールの逆置換 (wsrs) を C4 データセットに適用する医療略語拡張データセット。これは、Common Crawl の Web クロール コーパスの巨大でクリーンなバージョンです。
元のソースは Common Crawl データセットです: https://commoncrawl.org
スプリット | 例 |
---|
'train' | 9,575,852 |
'validation' | 991,422 |
FeaturesDict({
'abbreviated_snippet': Text(shape=(), dtype=string),
'original_snippet': Text(shape=(), dtype=string),
})
特徴 | クラス | 形 | Dtype | 説明 |
---|
| 特徴辞書 | | | |
abbreviated_snippet | 文章 | | ストリング | |
original_snippet | 文章 | | ストリング | |
c4_wsrs/default (デフォルト設定)
特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。
最終更新日 2022-12-22 UTC。
[null,null,["最終更新日 2022-12-22 UTC。"],[],[],null,["# c4_wsrs\n\n\u003cbr /\u003e\n\n- **Description**:\n\nA medical abbreviation expansion dataset which applies web-scale reverse\nsubstitution (wsrs) to the C4 dataset, which is a colossal, cleaned version of\nCommon Crawl's web crawl corpus.\n\nThe original source is the Common Crawl dataset: \u003chttps://commoncrawl.org\u003e\n\n- **Config description**: Default C4-WSRS dataset.\n\n- **Homepage** :\n \u003chttps://github.com/google-research/google-research/tree/master/deciphering_clinical_abbreviations\u003e\n\n- **Source code** :\n [`tfds.text.c4_wsrs.C4WSRS`](https://github.com/tensorflow/datasets/tree/master/tensorflow_datasets/text/c4_wsrs/c4_wsrs.py)\n\n- **Versions**:\n\n - **`1.0.0`** (default): Initial release.\n- **Download size** : `143.01 KiB`\n\n- **Dataset size** : `5.84 GiB`\n\n- **Auto-cached**\n ([documentation](https://www.tensorflow.org/datasets/performances#auto-caching)):\n No\n\n- **Splits**:\n\n| Split | Examples |\n|----------------|-----------|\n| `'train'` | 9,575,852 |\n| `'validation'` | 991,422 |\n\n- **Feature structure**:\n\n FeaturesDict({\n 'abbreviated_snippet': Text(shape=(), dtype=string),\n 'original_snippet': Text(shape=(), dtype=string),\n })\n\n- **Feature documentation**:\n\n| Feature | Class | Shape | Dtype | Description |\n|---------------------|--------------|-------|--------|-------------|\n| | FeaturesDict | | | |\n| abbreviated_snippet | Text | | string | |\n| original_snippet | Text | | string | |\n\n- **Supervised keys** (See\n [`as_supervised` doc](https://www.tensorflow.org/datasets/api_docs/python/tfds/load#args)):\n `None`\n\n- **Figure**\n ([tfds.show_examples](https://www.tensorflow.org/datasets/api_docs/python/tfds/visualization/show_examples)):\n Not supported.\n\n- **Examples**\n ([tfds.as_dataframe](https://www.tensorflow.org/datasets/api_docs/python/tfds/as_dataframe)):\n\nDisplay examples... \n\n- **Citation**:\n\nc4_wsrs/default (default config)\n--------------------------------"]]