nsynth

opis :

Zestaw danych NSynth to zestaw danych audio zawierający ~300 000 nut, z których każda ma unikalną wysokość, barwę i obwiednię. Każda notatka jest opatrzona trzema dodatkowymi informacjami opartymi na kombinacji oceny człowieka i algorytmów heurystycznych: źródło, rodzina i cechy.

Dodatkowa dokumentacja : Przeglądaj dokumenty z kodem na
Strona główna : https://g.co/magenta/nsynth-dataset
Kod źródłowy : tfds.datasets.nsynth.Builder
Wersje :
- 2.3.0 : Nowa funkcja loudness_db w decybelach (nieznormalizowana).
- 2.3.1 : F0 obliczone z poprawką normalizacji w CREPE.
- 2.3.2 : Użyj funkcji Audio.
- 2.3.3 (domyślnie): F0 obliczone z poprawką w normalizacji fali CREPE ( https://github.com/marl/crepe/issues/49 ).
Automatyczne buforowanie ( dokumentacja ): Nie
Klucze nadzorowane (Zobacz dokument as_supervised ): None
Rysunek ( tfds.show_examples ): Nieobsługiwany.
Cytat :

@InProceedings{pmlr-v70-engel17a,
  title =    {Neural Audio Synthesis of Musical Notes with {W}ave{N}et Autoencoders},
  author =   {Jesse Engel and Cinjon Resnick and Adam Roberts and Sander Dieleman and Mohammad Norouzi and Douglas Eck and Karen Simonyan},
  booktitle =    {Proceedings of the 34th International Conference on Machine Learning},
  pages =    {1068--1077},
  year =     {2017},
  editor =   {Doina Precup and Yee Whye Teh},
  volume =   {70},
  series =   {Proceedings of Machine Learning Research},
  address =      {International Convention Centre, Sydney, Australia},
  month =    {06--11 Aug},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v70/engel17a/engel17a.pdf},
  url =      {http://proceedings.mlr.press/v70/engel17a.html},
}

nsynth/full (domyślna konfiguracja)

Opis konfiguracji: Pełny zestaw danych NSynth jest podzielony na zestawy pociągowe, ważne i testowe, bez nakładania się przyrządów między zestawem pociągów a zestawami ważnymi/testowymi.
Rozmiar pliku do pobrania : 73.07 GiB
Rozmiar zestawu danych : 73.09 GiB
Podziały :

Podział	Przykłady
`'test'`	4096
`'train'`	289205
`'valid'`	12678

Struktura funkcji :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

Dokumentacja funkcji :

Funkcja	Klasa	Kształt	Typ D
	FunkcjeDict
audio	Audio	(64000,)	pływak32
ID	Napinacz		strunowy
instrument	FunkcjeDict
instrument/rodzina	Etykieta klasy		int64
przyrząd/etykieta	Etykieta klasy		int64
instrument/źródło	Etykieta klasy		int64
poziom	Etykieta klasy		int64
cechy	FunkcjeDict
cechy / jasne	Napinacz		bool
cechy/ciemność	Napinacz		bool
cechy/zniekształcenie	Napinacz		bool
cechy/fast_decay	Napinacz		bool
cechy/długie_wydanie	Napinacz		bool
cechy/multifoniczne	Napinacz		bool
cechy/nieliniowe_środowisko	Napinacz		bool
cechy / perkusyjne	Napinacz		bool
cechy/pogłos	Napinacz		bool
jakości/zsynchronizowane z tempem	Napinacz		bool
prędkość	Etykieta klasy		int64

Przykłady ( tfds.as_dataframe ):

nsynth/gansynth_podzbiór

Opis konfiguracji: Zestaw danych NSynth ograniczony do instrumentów akustycznych w interwale MIDI [24, 84]. Wykorzystuje alternatywne podziały, które nakładają się na instrumenty (ale nie dokładne notatki) między składem pociągu a zestawami ważnymi/testowymi. Ten wariant został pierwotnie wprowadzony w dokumencie ICLR 2019 GANSynth ( https://arxiv.org/abs/1902.08710 ).
Rozmiar pliku do pobrania : 73.08 GiB
Rozmiar zestawu danych : 20.73 GiB
Podziały :

Podział	Przykłady
`'test'`	8518
`'train'`	60788
`'valid'`	17 469

Struktura funkcji :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

Dokumentacja funkcji :

Funkcja	Klasa	Kształt	Typ D
	FunkcjeDict
audio	Audio	(64000,)	pływak32
ID	Napinacz		strunowy
instrument	FunkcjeDict
instrument/rodzina	Etykieta klasy		int64
przyrząd/etykieta	Etykieta klasy		int64
instrument/źródło	Etykieta klasy		int64
poziom	Etykieta klasy		int64
cechy	FunkcjeDict
cechy / jasne	Napinacz		bool
cechy/ciemność	Napinacz		bool
cechy/zniekształcenie	Napinacz		bool
cechy/fast_decay	Napinacz		bool
cechy/długie_wydanie	Napinacz		bool
cechy/multifoniczne	Napinacz		bool
cechy/nieliniowe_środowisko	Napinacz		bool
cechy / perkusyjne	Napinacz		bool
cechy/pogłos	Napinacz		bool
jakości/zsynchronizowane z tempem	Napinacz		bool
prędkość	Etykieta klasy		int64

Przykłady ( tfds.as_dataframe ):

nsynth/gansynth_subset.f0_and_loudness

Opis konfiguracji: Zestaw danych NSynth ograniczony do instrumentów akustycznych w interwale MIDI [24, 84]. Wykorzystuje alternatywne podziały, które nakładają się na instrumenty (ale nie dokładne notatki) między składem pociągu a zestawami ważnymi/testowymi. Ten wariant został pierwotnie wprowadzony w dokumencie ICLR 2019 GANSynth ( https://arxiv.org/abs/1902.08710 ). Ta wersja dodatkowo zawiera oszacowania dla F0 przy użyciu CREPE (Kim i in., 2018) oraz głośności percepcyjnej ważonej A w decybelach. Oba sygnały są dostarczane z częstotliwością odświeżania 250 Hz.
Rozmiar pliku do pobrania : 73.08 GiB
Rozmiar zestawu danych : 22.03 GiB
Podziały :

Podział	Przykłady
`'test'`	8518
`'train'`	60788
`'valid'`	17 469

Struktura funkcji :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'f0': FeaturesDict({
        'confidence': Tensor(shape=(1000,), dtype=float32),
        'hz': Tensor(shape=(1000,), dtype=float32),
        'midi': Tensor(shape=(1000,), dtype=float32),
    }),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'loudness': FeaturesDict({
        'db': Tensor(shape=(1000,), dtype=float32),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

Dokumentacja funkcji :

Funkcja	Klasa	Kształt	Typ D
	FunkcjeDict
audio	Audio	(64000,)	pływak32
f0	FunkcjeDict
f0/pewność siebie	Napinacz	(1000,)	pływak32
f0/hz	Napinacz	(1000,)	pływak32
f0/mid	Napinacz	(1000,)	pływak32
ID	Napinacz		strunowy
instrument	FunkcjeDict
instrument/rodzina	Etykieta klasy		int64
przyrząd/etykieta	Etykieta klasy		int64
instrument/źródło	Etykieta klasy		int64
głośność	FunkcjeDict
głośność/db	Napinacz	(1000,)	pływak32
poziom	Etykieta klasy		int64
cechy	FunkcjeDict
cechy / jasne	Napinacz		bool
cechy/ciemność	Napinacz		bool
cechy/zniekształcenie	Napinacz		bool
cechy/fast_decay	Napinacz		bool
cechy/długie_wydanie	Napinacz		bool
cechy/multifoniczne	Napinacz		bool
cechy/nieliniowe_środowisko	Napinacz		bool
cechy / perkusyjne	Napinacz		bool
cechy/pogłos	Napinacz		bool
jakości/zsynchronizowane z tempem	Napinacz		bool
prędkość	Etykieta klasy		int64

Przykłady ( tfds.as_dataframe ):