nsynth

  • opis :

Zestaw danych NSynth to zestaw danych audio zawierający ~300 000 nut, z których każda ma unikalną wysokość, barwę i obwiednię. Każda notatka jest opatrzona trzema dodatkowymi informacjami opartymi na kombinacji oceny człowieka i algorytmów heurystycznych: źródło, rodzina i cechy.

@InProceedings{pmlr-v70-engel17a,
  title =    {Neural Audio Synthesis of Musical Notes with {W}ave{N}et Autoencoders},
  author =   {Jesse Engel and Cinjon Resnick and Adam Roberts and Sander Dieleman and Mohammad Norouzi and Douglas Eck and Karen Simonyan},
  booktitle =    {Proceedings of the 34th International Conference on Machine Learning},
  pages =    {1068--1077},
  year =     {2017},
  editor =   {Doina Precup and Yee Whye Teh},
  volume =   {70},
  series =   {Proceedings of Machine Learning Research},
  address =      {International Convention Centre, Sydney, Australia},
  month =    {06--11 Aug},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v70/engel17a/engel17a.pdf},
  url =      {http://proceedings.mlr.press/v70/engel17a.html},
}

nsynth/full (domyślna konfiguracja)

  • Opis konfiguracji: Pełny zestaw danych NSynth jest podzielony na zestawy pociągowe, ważne i testowe, bez nakładania się przyrządów między zestawem pociągów a zestawami ważnymi/testowymi.

  • Rozmiar pliku do pobrania : 73.07 GiB

  • Rozmiar zestawu danych : 73.09 GiB

  • Podziały :

Podział Przykłady
'test' 4096
'train' 289205
'valid' 12678
  • Struktura funkcji :
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
audio Audio (64000,) pływak32
ID Napinacz strunowy
instrument FunkcjeDict
instrument/rodzina Etykieta klasy int64
przyrząd/etykieta Etykieta klasy int64
instrument/źródło Etykieta klasy int64
poziom Etykieta klasy int64
cechy FunkcjeDict
cechy / jasne Napinacz bool
cechy/ciemność Napinacz bool
cechy/zniekształcenie Napinacz bool
cechy/fast_decay Napinacz bool
cechy/długie_wydanie Napinacz bool
cechy/multifoniczne Napinacz bool
cechy/nieliniowe_środowisko Napinacz bool
cechy / perkusyjne Napinacz bool
cechy/pogłos Napinacz bool
jakości/zsynchronizowane z tempem Napinacz bool
prędkość Etykieta klasy int64

nsynth/gansynth_podzbiór

  • Opis konfiguracji: Zestaw danych NSynth ograniczony do instrumentów akustycznych w interwale MIDI [24, 84]. Wykorzystuje alternatywne podziały, które nakładają się na instrumenty (ale nie dokładne notatki) między składem pociągu a zestawami ważnymi/testowymi. Ten wariant został pierwotnie wprowadzony w dokumencie ICLR 2019 GANSynth ( https://arxiv.org/abs/1902.08710 ).

  • Rozmiar pliku do pobrania : 73.08 GiB

  • Rozmiar zestawu danych : 20.73 GiB

  • Podziały :

Podział Przykłady
'test' 8518
'train' 60788
'valid' 17 469
  • Struktura funkcji :
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
audio Audio (64000,) pływak32
ID Napinacz strunowy
instrument FunkcjeDict
instrument/rodzina Etykieta klasy int64
przyrząd/etykieta Etykieta klasy int64
instrument/źródło Etykieta klasy int64
poziom Etykieta klasy int64
cechy FunkcjeDict
cechy / jasne Napinacz bool
cechy/ciemność Napinacz bool
cechy/zniekształcenie Napinacz bool
cechy/fast_decay Napinacz bool
cechy/długie_wydanie Napinacz bool
cechy/multifoniczne Napinacz bool
cechy/nieliniowe_środowisko Napinacz bool
cechy / perkusyjne Napinacz bool
cechy/pogłos Napinacz bool
jakości/zsynchronizowane z tempem Napinacz bool
prędkość Etykieta klasy int64

nsynth/gansynth_subset.f0_and_loudness

  • Opis konfiguracji: Zestaw danych NSynth ograniczony do instrumentów akustycznych w interwale MIDI [24, 84]. Wykorzystuje alternatywne podziały, które nakładają się na instrumenty (ale nie dokładne notatki) między składem pociągu a zestawami ważnymi/testowymi. Ten wariant został pierwotnie wprowadzony w dokumencie ICLR 2019 GANSynth ( https://arxiv.org/abs/1902.08710 ). Ta wersja dodatkowo zawiera oszacowania dla F0 przy użyciu CREPE (Kim i in., 2018) oraz głośności percepcyjnej ważonej A w decybelach. Oba sygnały są dostarczane z częstotliwością odświeżania 250 Hz.

  • Rozmiar pliku do pobrania : 73.08 GiB

  • Rozmiar zestawu danych : 22.03 GiB

  • Podziały :

Podział Przykłady
'test' 8518
'train' 60788
'valid' 17 469
  • Struktura funkcji :
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'f0': FeaturesDict({
        'confidence': Tensor(shape=(1000,), dtype=float32),
        'hz': Tensor(shape=(1000,), dtype=float32),
        'midi': Tensor(shape=(1000,), dtype=float32),
    }),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'loudness': FeaturesDict({
        'db': Tensor(shape=(1000,), dtype=float32),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
audio Audio (64000,) pływak32
f0 FunkcjeDict
f0/pewność siebie Napinacz (1000,) pływak32
f0/hz Napinacz (1000,) pływak32
f0/mid Napinacz (1000,) pływak32
ID Napinacz strunowy
instrument FunkcjeDict
instrument/rodzina Etykieta klasy int64
przyrząd/etykieta Etykieta klasy int64
instrument/źródło Etykieta klasy int64
głośność FunkcjeDict
głośność/db Napinacz (1000,) pływak32
poziom Etykieta klasy int64
cechy FunkcjeDict
cechy / jasne Napinacz bool
cechy/ciemność Napinacz bool
cechy/zniekształcenie Napinacz bool
cechy/fast_decay Napinacz bool
cechy/długie_wydanie Napinacz bool
cechy/multifoniczne Napinacz bool
cechy/nieliniowe_środowisko Napinacz bool
cechy / perkusyjne Napinacz bool
cechy/pogłos Napinacz bool
jakości/zsynchronizowane z tempem Napinacz bool
prędkość Etykieta klasy int64