minuscule_shakespeare

  • Descriptif :

40 000 lignes de Shakespeare à partir d'une variété de pièces de Shakespeare. Présenté dans le billet de blog d'Andrej Karpathy "L'efficacité déraisonnable des réseaux de neurones récurrents": http://karpathy.github.io/2015/05/21/rnn-effectiveness/

A utiliser par exemple pour la modélisation de personnages :

d = tfds.load(name='tiny_shakespeare')['train']
d
= d.map(lambda x: tf.strings.unicode_split(x['text'], 'UTF-8'))
# train split includes vocabulary for other splits
vocabulary
= sorted(set(next(iter(d)).numpy()))
d
= d.map(lambda x: {'cur_char': x[:-1], 'next_char': x[1:]})
d
= d.unbatch()
seq_len
= 100
batch_size
= 2
d
= d.batch(seq_len)
d
= d.batch(batch_size)
Diviser Exemples
'test' 1
'train' 1
'validation' 1
  • Structure des fonctionnalités :
FeaturesDict({
   
'text': Text(shape=(), dtype=string),
})
  • Documentation des fonctionnalités :
Fonctionnalité Classe Forme Dtype Description
FonctionnalitésDict
texte Texte chaîne
  • Citation :
@misc{
  author
={Karpathy, Andrej},
  title
={char-rnn},
  year
={2015},
  howpublished
={\url{https://github.com/karpathy/char-rnn} }
}
,

  • Descriptif :

40 000 lignes de Shakespeare à partir d'une variété de pièces de Shakespeare. Présenté dans le billet de blog d'Andrej Karpathy "L'efficacité déraisonnable des réseaux de neurones récurrents": http://karpathy.github.io/2015/05/21/rnn-effectiveness/

A utiliser par exemple pour la modélisation de personnages :

d = tfds.load(name='tiny_shakespeare')['train']
d
= d.map(lambda x: tf.strings.unicode_split(x['text'], 'UTF-8'))
# train split includes vocabulary for other splits
vocabulary
= sorted(set(next(iter(d)).numpy()))
d
= d.map(lambda x: {'cur_char': x[:-1], 'next_char': x[1:]})
d
= d.unbatch()
seq_len
= 100
batch_size
= 2
d
= d.batch(seq_len)
d
= d.batch(batch_size)
Diviser Exemples
'test' 1
'train' 1
'validation' 1
  • Structure des fonctionnalités :
FeaturesDict({
   
'text': Text(shape=(), dtype=string),
})
  • Documentation des fonctionnalités :
Fonctionnalité Classe Forme Dtype Description
FonctionnalitésDict
texte Texte chaîne
  • Citation :
@misc{
  author
={Karpathy, Andrej},
  title
={char-rnn},
  year
={2015},
  howpublished
={\url{https://github.com/karpathy/char-rnn} }
}