nsynth

• Descrição :

O conjunto de dados NSynth é um conjunto de dados de áudio contendo aproximadamente 300 mil notas musicais, cada uma com um tom, timbre e envelope únicos. Cada nota é anotada com três informações adicionais baseadas em uma combinação de avaliação humana e algoritmos heurísticos: Fonte, Família e Qualidades.

• Documentação Adicional : Explore em Papers With Code

• Página inicial : https://g.co/magenta/nsynth-dataset

• Código -fonte: tfds.datasets.nsynth.Builder

• Versões :

  • 2.3.0 : Novo recurso loudness_db em decibéis (não normalizado).
  • 2.3.1 : F0 calculado com correção de normalização no CREPE.
  • 2.3.2 : Use o recurso de áudio.
  • 2.3.3 (padrão): F0 calculado com correção na normalização de onda CREPE ( https://github.com/marl/crepe/issues/49 ).

• Armazenado em cache automaticamente ( documentação ): Não

• Chaves supervisionadas (Consulte as_supervised doc ): None

• Figura ( tfds.show_examples ): Não suportado.

• Citação :

@InProceedings{pmlr-v70-engel17a,
  title =    {Neural Audio Synthesis of Musical Notes with {W}ave{N}et Autoencoders},
  author =   {Jesse Engel and Cinjon Resnick and Adam Roberts and Sander Dieleman and Mohammad Norouzi and Douglas Eck and Karen Simonyan},
  booktitle =    {Proceedings of the 34th International Conference on Machine Learning},
  pages =    {1068--1077},
  year =     {2017},
  editor =   {Doina Precup and Yee Whye Teh},
  volume =   {70},
  series =   {Proceedings of Machine Learning Research},
  address =      {International Convention Centre, Sydney, Australia},
  month =    {06--11 Aug},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v70/engel17a/engel17a.pdf},
  url =      {http://proceedings.mlr.press/v70/engel17a.html},
}

nsynth/full (configuração padrão)

• Descrição da configuração : O conjunto de dados NSynth completo é dividido em conjuntos de treinamento, válidos e de teste, sem sobreposição de instrumentos entre o conjunto de treinamento e os conjuntos válidos/de teste.

• Tamanho do download : 73.07 GiB

• Tamanho do conjunto de dados : 73.09 GiB

• Divisões :

Dividir	Exemplos
'test'	4.096
'train'	289.205
'valid'	12.678

• Estrutura de recursos :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

• Documentação do recurso:

Recurso	Aula	Forma	Tipo D	Descrição
	RecursosDict
áudio	áudio	(64000,)	float32
eu ia	tensor		corda
instrumento	RecursosDict
instrumento/família	ClassLabel		int64
instrumento/rótulo	ClassLabel		int64
instrumento/fonte	ClassLabel		int64
tom	ClassLabel		int64
qualidades	RecursosDict
qualidades/brilhante	tensor		bool
qualidades/escuro	tensor		bool
qualidades/distorção	tensor		bool
qualidades/fast_decay	tensor		bool
qualidades/long_release	tensor		bool
qualidades/multifônico	tensor		bool
qualidades/nonlinear_env	tensor		bool
qualidades/percussão	tensor		bool
qualidades/reverb	tensor		bool
qualidades/tempo sincronizado	tensor		bool
velocidade	ClassLabel		int64

• Exemplos ( tfds.as_dataframe ):

nsynth/gansynth_subset

• Descrição da configuração : Conjunto de dados NSynth limitado a instrumentos acústicos no intervalo de afinação MIDI [24, 84]. Usa divisões alternativas que se sobrepõem nos instrumentos (mas não nas notas exatas) entre o conjunto de treinamento e os conjuntos válidos/de teste. Esta variante foi originalmente introduzida no artigo ICLR 2019 GANSynth ( https://arxiv.org/abs/1902.08710 ).

• Tamanho do download : 73.08 GiB

• Tamanho do conjunto de dados : 20.73 GiB

• Divisões :

Dividir	Exemplos
'test'	8.518
'train'	60.788
'valid'	17.469

• Estrutura de recursos :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

• Documentação do recurso:

Recurso	Aula	Forma	Tipo D	Descrição
	RecursosDict
áudio	áudio	(64000,)	float32
eu ia	tensor		corda
instrumento	RecursosDict
instrumento/família	ClassLabel		int64
instrumento/rótulo	ClassLabel		int64
instrumento/fonte	ClassLabel		int64
tom	ClassLabel		int64
qualidades	RecursosDict
qualidades/brilhante	tensor		bool
qualidades/escuro	tensor		bool
qualidades/distorção	tensor		bool
qualidades/fast_decay	tensor		bool
qualidades/long_release	tensor		bool
qualidades/multifônico	tensor		bool
qualidades/nonlinear_env	tensor		bool
qualidades/percussão	tensor		bool
qualidades/reverb	tensor		bool
qualidades/tempo sincronizado	tensor		bool
velocidade	ClassLabel		int64

• Exemplos ( tfds.as_dataframe ):

nsynth/gansynth_subset.f0_and_loudness

• Descrição da configuração : Conjunto de dados NSynth limitado a instrumentos acústicos no intervalo de afinação MIDI [24, 84]. Usa divisões alternativas que se sobrepõem nos instrumentos (mas não nas notas exatas) entre o conjunto de treinamento e os conjuntos válidos/de teste. Esta variante foi originalmente introduzida no artigo ICLR 2019 GANSynth ( https://arxiv.org/abs/1902.08710 ). Esta versão também contém estimativas para F0 usando CREPE (Kim et al., 2018) e volume perceptual ponderado A em decibéis. Ambos os sinais são fornecidos a uma taxa de quadros de 250 Hz.

• Tamanho do download : 73.08 GiB

• Tamanho do conjunto de dados : 22.03 GiB

• Divisões :

Dividir	Exemplos
'test'	8.518
'train'	60.788
'valid'	17.469

• Estrutura de recursos :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'f0': FeaturesDict({
        'confidence': Tensor(shape=(1000,), dtype=float32),
        'hz': Tensor(shape=(1000,), dtype=float32),
        'midi': Tensor(shape=(1000,), dtype=float32),
    }),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'loudness': FeaturesDict({
        'db': Tensor(shape=(1000,), dtype=float32),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

• Documentação do recurso:

Recurso	Aula	Forma	Tipo D	Descrição
	RecursosDict
áudio	áudio	(64000,)	float32
f0	RecursosDict
f0/confiança	tensor	(1000,)	float32
f0/hz	tensor	(1000,)	float32
f0/midi	tensor	(1000,)	float32
eu ia	tensor		corda
instrumento	RecursosDict
instrumento/família	ClassLabel		int64
instrumento/rótulo	ClassLabel		int64
instrumento/fonte	ClassLabel		int64
sonoridade	RecursosDict
volume/db	tensor	(1000,)	float32
tom	ClassLabel		int64
qualidades	RecursosDict
qualidades/brilhante	tensor		bool
qualidades/escuro	tensor		bool
qualidades/distorção	tensor		bool
qualidades/fast_decay	tensor		bool
qualidades/long_release	tensor		bool
qualidades/multifônico	tensor		bool
qualidades/nonlinear_env	tensor		bool
qualidades/percussão	tensor		bool
qualidades/reverb	tensor		bool
qualidades/tempo sincronizado	tensor		bool
velocidade	ClassLabel		int64

• Exemplos ( tfds.as_dataframe ):