Conozca lo último en aprendizaje automático, IA generativa y más en el Simposio WiML 2023.

Se usó la API de Cloud Translation para traducir esta página.

sintetizador

Descripción :

El conjunto de datos de NSynth es un conjunto de datos de audio que contiene ~300k notas musicales, cada una con un tono, timbre y envolvente únicos. Cada nota está anotada con tres piezas adicionales de información basadas en una combinación de evaluación humana y algoritmos heurísticos: Fuente, Familia y Cualidades.

Documentación adicional : Explore en Papers With Code
Página de inicio: https://g.co/magenta/nsynth-dataset
Código fuente : tfds.datasets.nsynth.Builder
Versiones :
- 2.3.0 : Nueva función loudness_db en decibeles (no normalizada).
- 2.3.1 : F0 calculado con corrección de normalización en CREPE.
- 2.3.2 : Utilice la función de audio.
- 2.3.3 (predeterminado): F0 calculado con corrección en la normalización de ondas CREPE ( https://github.com/marl/crepe/issues/49 ).
Almacenamiento automático en caché ( documentación ): No
Claves supervisadas (Ver as_supervised doc ): None
Figura ( tfds.show_examples ): no compatible.
Cita :

@InProceedings{pmlr-v70-engel17a,
  title =    {Neural Audio Synthesis of Musical Notes with {W}ave{N}et Autoencoders},
  author =   {Jesse Engel and Cinjon Resnick and Adam Roberts and Sander Dieleman and Mohammad Norouzi and Douglas Eck and Karen Simonyan},
  booktitle =    {Proceedings of the 34th International Conference on Machine Learning},
  pages =    {1068--1077},
  year =     {2017},
  editor =   {Doina Precup and Yee Whye Teh},
  volume =   {70},
  series =   {Proceedings of Machine Learning Research},
  address =      {International Convention Centre, Sydney, Australia},
  month =    {06--11 Aug},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v70/engel17a/engel17a.pdf},
  url =      {http://proceedings.mlr.press/v70/engel17a.html},
}

nsynth/full (configuración predeterminada)

Descripción de la configuración : el conjunto de datos completo de NSynth se divide en conjuntos de entrenamiento, válidos y de prueba, sin que los instrumentos se superpongan entre el conjunto de entrenamiento y los conjuntos válidos/de prueba.
Tamaño de descarga : 73.07 GiB
Tamaño del conjunto de datos : 73.09 GiB
Divisiones :

Dividir	Ejemplos
`'test'`	4,096
`'train'`	289,205
`'valid'`	12,678

Estructura de características :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

Documentación de características :

Característica	Clase	Forma	Tipo D
	CaracterísticasDict
audio	Audio	(64000,)	flotar32
identificación	Tensor		cadena
instrumento	CaracterísticasDict
instrumento/familia	Etiqueta de clase		int64
instrumento/etiqueta	Etiqueta de clase		int64
instrumento/fuente	Etiqueta de clase		int64
paso	Etiqueta de clase		int64
cualidades	CaracterísticasDict
calidades/brillante	Tensor		bool
cualidades/oscuro	Tensor		bool
calidades/distorsión	Tensor		bool
cualidades/fast_decay	Tensor		bool
calidades/lanzamiento_largo	Tensor		bool
calidades/multifónico	Tensor		bool
calidades/nonlinear_env	Tensor		bool
cualidades/percusión	Tensor		bool
cualidades/reverberación	Tensor		bool
calidades/tempo-synced	Tensor		bool
velocidad	Etiqueta de clase		int64

Ejemplos ( tfds.as_dataframe ):

nsynth/gansynth_subconjunto

Descripción de la configuración : NSynth Dataset limitado a instrumentos acústicos en el intervalo de tono MIDI [24, 84]. Utiliza divisiones alternativas que se superponen en los instrumentos (pero no en las notas exactas) entre el conjunto de trenes y los conjuntos válidos/de prueba. Esta variante se introdujo originalmente en el documento ICLR 2019 GANSynth ( https://arxiv.org/abs/1902.08710 ).
Tamaño de descarga : 73.08 GiB
Tamaño del conjunto de datos : 20.73 GiB
Divisiones :

Dividir	Ejemplos
`'test'`	8,518
`'train'`	60,788
`'valid'`	17,469

Estructura de características :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

Documentación de características :

Característica	Clase	Forma	Tipo D
	CaracterísticasDict
audio	Audio	(64000,)	flotar32
identificación	Tensor		cadena
instrumento	CaracterísticasDict
instrumento/familia	Etiqueta de clase		int64
instrumento/etiqueta	Etiqueta de clase		int64
instrumento/fuente	Etiqueta de clase		int64
paso	Etiqueta de clase		int64
cualidades	CaracterísticasDict
calidades/brillante	Tensor		bool
cualidades/oscuro	Tensor		bool
calidades/distorsión	Tensor		bool
cualidades/fast_decay	Tensor		bool
calidades/lanzamiento_largo	Tensor		bool
calidades/multifónico	Tensor		bool
calidades/nonlinear_env	Tensor		bool
cualidades/percusión	Tensor		bool
cualidades/reverberación	Tensor		bool
calidades/tempo-synced	Tensor		bool
velocidad	Etiqueta de clase		int64

Ejemplos ( tfds.as_dataframe ):

nsynth/gansynth_subset.f0_and_loudness

Descripción de la configuración : NSynth Dataset limitado a instrumentos acústicos en el intervalo de tono MIDI [24, 84]. Utiliza divisiones alternativas que se superponen en los instrumentos (pero no en las notas exactas) entre el conjunto de trenes y los conjuntos válidos/de prueba. Esta variante se introdujo originalmente en el documento ICLR 2019 GANSynth ( https://arxiv.org/abs/1902.08710 ). Esta versión también contiene estimaciones para F0 utilizando CREPE (Kim et al., 2018) y la sonoridad perceptiva ponderada A en decibelios. Ambas señales se proporcionan a una velocidad de fotogramas de 250 Hz.
Tamaño de descarga : 73.08 GiB
Tamaño del conjunto de datos : 22.03 GiB
Divisiones :

Dividir	Ejemplos
`'test'`	8,518
`'train'`	60,788
`'valid'`	17,469

Estructura de características :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'f0': FeaturesDict({
        'confidence': Tensor(shape=(1000,), dtype=float32),
        'hz': Tensor(shape=(1000,), dtype=float32),
        'midi': Tensor(shape=(1000,), dtype=float32),
    }),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'loudness': FeaturesDict({
        'db': Tensor(shape=(1000,), dtype=float32),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

Documentación de características :

Característica	Clase	Forma	Tipo D
	CaracterísticasDict
audio	Audio	(64000,)	flotar32
f0	CaracterísticasDict
f0/confianza	Tensor	(1000,)	flotar32
f0/hz	Tensor	(1000,)	flotar32
f0/midi	Tensor	(1000,)	flotar32
identificación	Tensor		cadena
instrumento	CaracterísticasDict
instrumento/familia	Etiqueta de clase		int64
instrumento/etiqueta	Etiqueta de clase		int64
instrumento/fuente	Etiqueta de clase		int64
volumen	CaracterísticasDict
sonoridad/db	Tensor	(1000,)	flotar32
paso	Etiqueta de clase		int64
cualidades	CaracterísticasDict
calidades/brillante	Tensor		bool
cualidades/oscuro	Tensor		bool
calidades/distorsión	Tensor		bool
cualidades/fast_decay	Tensor		bool
calidades/lanzamiento_largo	Tensor		bool
calidades/multifónico	Tensor		bool
calidades/nonlinear_env	Tensor		bool
cualidades/percusión	Tensor		bool
cualidades/reverberación	Tensor		bool
calidades/tempo-synced	Tensor		bool
velocidad	Etiqueta de clase		int64

Ejemplos ( tfds.as_dataframe ):