nsynth

Deskripsi :

Kumpulan Data NSynth adalah kumpulan data audio yang berisi ~300 ribu not musik, masing-masing dengan nada, timbre, dan amplop yang unik. Setiap catatan dianotasi dengan tiga informasi tambahan berdasarkan kombinasi evaluasi manusia dan algoritme heuristik: Sumber, Keluarga, dan Kualitas.

Dokumentasi Tambahan : Jelajahi di Makalah Dengan Kode
Beranda : https://g.co/magenta/nsynth-dataset
Kode sumber : tfds.datasets.nsynth.Builder
Versi :
- 2.3.0 : Fitur loudness_db baru dalam desibel (tidak dinormalisasi).
- 2.3.1 : F0 dihitung dengan perbaikan normalisasi di CREPE.
- 2.3.2 : Gunakan fitur Audio.
- 2.3.3 (default): F0 dihitung dengan perbaikan dalam normalisasi gelombang CREPE ( https://github.com/marl/crepe/issues/49 ).
Di-cache otomatis ( dokumentasi ): Tidak
Kunci yang diawasi (Lihat as_supervised doc ): None
Gambar ( tfds.show_examples ): Tidak didukung.
Kutipan :

@InProceedings{pmlr-v70-engel17a,
  title =    {Neural Audio Synthesis of Musical Notes with {W}ave{N}et Autoencoders},
  author =   {Jesse Engel and Cinjon Resnick and Adam Roberts and Sander Dieleman and Mohammad Norouzi and Douglas Eck and Karen Simonyan},
  booktitle =    {Proceedings of the 34th International Conference on Machine Learning},
  pages =    {1068--1077},
  year =     {2017},
  editor =   {Doina Precup and Yee Whye Teh},
  volume =   {70},
  series =   {Proceedings of Machine Learning Research},
  address =      {International Convention Centre, Sydney, Australia},
  month =    {06--11 Aug},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v70/engel17a/engel17a.pdf},
  url =      {http://proceedings.mlr.press/v70/engel17a.html},
}

nsynth/full (konfigurasi default)

Deskripsi konfigurasi : Full NSynth Dataset dibagi menjadi set pelatihan, valid, dan pengujian, tanpa instrumen yang tumpang tindih antara set pelatihan dan set valid/tes.
Ukuran unduhan : 73.07 GiB
Ukuran dataset : 73.09 GiB
Perpecahan :

Membelah	Contoh
`'test'`	4.096
`'train'`	289.205
`'valid'`	12.678

Struktur fitur :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

Dokumentasi fitur :

Fitur	Kelas	Membentuk	Dtype
	fiturDict
audio	Audio	(64000,)	float32
pengenal	Tensor		rangkaian
instrumen	fiturDict
instrumen/keluarga	LabelKelas		int64
instrumen/label	LabelKelas		int64
instrumen/sumber	LabelKelas		int64
melempar	LabelKelas		int64
kualitas	fiturDict
kualitas/cerah	Tensor		bool
kualitas / gelap	Tensor		bool
kualitas/distorsi	Tensor		bool
quality/fast_decay	Tensor		bool
quality/long_release	Tensor		bool
kualitas / multifonik	Tensor		bool
kualitas/nonlinear_env	Tensor		bool
kualitas / perkusi	Tensor		bool
kualitas/reverb	Tensor		bool
kualitas/tempo-disinkronkan	Tensor		bool
kecepatan	LabelKelas		int64

Contoh ( tfds.as_dataframe ):

nsynth/gansynth_subset

Deskripsi konfigurasi : Dataset NSynth terbatas pada instrumen akustik dalam interval nada MIDI [24, 84]. Menggunakan pemisahan alternatif yang tumpang tindih dalam instrumen (namun bukan not yang tepat) antara set kereta dan set yang valid/tes. Varian ini awalnya diperkenalkan di makalah GANSynth ICLR 2019 ( https://arxiv.org/abs/1902.08710 ).
Ukuran unduhan : 73.08 GiB
Ukuran dataset : 20.73 GiB
Perpecahan :

Membelah	Contoh
`'test'`	8.518
`'train'`	60.788
`'valid'`	17.469

Struktur fitur :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

Dokumentasi fitur :

Fitur	Kelas	Membentuk	Dtype
	fiturDict
audio	Audio	(64000,)	float32
pengenal	Tensor		rangkaian
instrumen	fiturDict
instrumen/keluarga	LabelKelas		int64
instrumen/label	LabelKelas		int64
instrumen/sumber	LabelKelas		int64
melempar	LabelKelas		int64
kualitas	fiturDict
kualitas/cerah	Tensor		bool
kualitas / gelap	Tensor		bool
kualitas/distorsi	Tensor		bool
quality/fast_decay	Tensor		bool
quality/long_release	Tensor		bool
kualitas / multifonik	Tensor		bool
kualitas/nonlinear_env	Tensor		bool
kualitas / perkusi	Tensor		bool
kualitas/reverb	Tensor		bool
kualitas/tempo-disinkronkan	Tensor		bool
kecepatan	LabelKelas		int64

Contoh ( tfds.as_dataframe ):

nsynth/gansynth_subset.f0_and_loudness

Deskripsi konfigurasi : Dataset NSynth terbatas pada instrumen akustik dalam interval nada MIDI [24, 84]. Menggunakan pemisahan alternatif yang tumpang tindih dalam instrumen (namun bukan not yang tepat) antara set kereta dan set yang valid/tes. Varian ini awalnya diperkenalkan di makalah GANSynth ICLR 2019 ( https://arxiv.org/abs/1902.08710 ). Versi ini juga berisi perkiraan untuk F0 menggunakan CREPE (Kim et al., 2018) dan kenyaringan perseptual berbobot A dalam desibel. Kedua sinyal disediakan pada frekuensi gambar 250Hz.
Ukuran unduhan : 73.08 GiB
Ukuran dataset : 22.03 GiB
Perpecahan :

Membelah	Contoh
`'test'`	8.518
`'train'`	60.788
`'valid'`	17.469

Struktur fitur :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'f0': FeaturesDict({
        'confidence': Tensor(shape=(1000,), dtype=float32),
        'hz': Tensor(shape=(1000,), dtype=float32),
        'midi': Tensor(shape=(1000,), dtype=float32),
    }),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'loudness': FeaturesDict({
        'db': Tensor(shape=(1000,), dtype=float32),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

Dokumentasi fitur :

Fitur	Kelas	Membentuk	Dtype
	fiturDict
audio	Audio	(64000,)	float32
f0	fiturDict
f0/kepercayaan	Tensor	(1000,)	float32
f0/hz	Tensor	(1000,)	float32
f0/midi	Tensor	(1000,)	float32
pengenal	Tensor		rangkaian
instrumen	fiturDict
instrumen/keluarga	LabelKelas		int64
instrumen/label	LabelKelas		int64
instrumen/sumber	LabelKelas		int64
kekerasan	fiturDict
kenyaringan/db	Tensor	(1000,)	float32
melempar	LabelKelas		int64
kualitas	fiturDict
kualitas/cerah	Tensor		bool
kualitas / gelap	Tensor		bool
kualitas/distorsi	Tensor		bool
quality/fast_decay	Tensor		bool
quality/long_release	Tensor		bool
kualitas / multifonik	Tensor		bool
kualitas/nonlinear_env	Tensor		bool
kualitas / perkusi	Tensor		bool
kualitas/reverb	Tensor		bool
kualitas/tempo-disinkronkan	Tensor		bool
kecepatan	LabelKelas		int64

Contoh ( tfds.as_dataframe ):