- Açıklama :
İstatistiksel dil modellemedeki ilerlemeyi ölçmek için kullanılacak bir kıyaslama derlemi. Bunun eğitim verilerinde neredeyse bir milyar kelime var.
Ek Belgeler : Kodlu Belgeleri Keşfedin
Ana Sayfa : http://www.statmt.org/lm-benchmark/
Kaynak kodu :
tfds.datasets.lm1b.Buildersürümler :
-
1.1.0(varsayılan): Sürüm notu yok.
-
İndirme boyutu :
1.67 GiBVeri kümesi boyutu :
4.40 GiBOtomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
| Bölmek | örnekler |
|---|---|
'test' | 306.688 |
'train' | 30.301.028 |
- Özellik yapısı :
FeaturesDict({
'text': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
| Özellik | Sınıf | Şekil | Dtipi | Tanım |
|---|---|---|---|---|
| ÖzelliklerDict | ||||
| Metin | Metin | sicim |
Denetimli anahtarlar (Bkz.
as_superviseddoc ):('text', 'text')Şekil ( tfds.show_examples ): Desteklenmiyor.
Örnekler ( tfds.as_dataframe ):
- Alıntı :
@article{DBLP:journals/corr/ChelbaMSGBK13,
author = {Ciprian Chelba and
Tomas Mikolov and
Mike Schuster and
Qi Ge and
Thorsten Brants and
Phillipp Koehn},
title = {One Billion Word Benchmark for Measuring Progress in Statistical Language
Modeling},
journal = {CoRR},
volume = {abs/1312.3005},
year = {2013},
url = {http://arxiv.org/abs/1312.3005},
archivePrefix = {arXiv},
eprint = {1312.3005},
timestamp = {Mon, 13 Aug 2018 16:46:16 +0200},
biburl = {https://dblp.org/rec/bib/journals/corr/ChelbaMSGBK13},
bibsource = {dblp computer science bibliography, https://dblp.org}
}