nsynth

  • Açıklama :

NSynth Veri Kümesi, her biri benzersiz perde, tını ve zarfa sahip ~300.000 müzik notası içeren bir ses veri kümesidir. Her nota, insan değerlendirmesi ve buluşsal algoritmaların bir kombinasyonuna dayanan üç ek bilgi parçasıyla açıklama eklenir: Kaynak, Aile ve Nitelikler.

@InProceedings{pmlr-v70-engel17a,
  title =    {Neural Audio Synthesis of Musical Notes with {W}ave{N}et Autoencoders},
  author =   {Jesse Engel and Cinjon Resnick and Adam Roberts and Sander Dieleman and Mohammad Norouzi and Douglas Eck and Karen Simonyan},
  booktitle =    {Proceedings of the 34th International Conference on Machine Learning},
  pages =    {1068--1077},
  year =     {2017},
  editor =   {Doina Precup and Yee Whye Teh},
  volume =   {70},
  series =   {Proceedings of Machine Learning Research},
  address =      {International Convention Centre, Sydney, Australia},
  month =    {06--11 Aug},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v70/engel17a/engel17a.pdf},
  url =      {http://proceedings.mlr.press/v70/engel17a.html},
}

nsynth/full (varsayılan yapılandırma)

  • Yapılandırma açıklaması : Tam NSynth Veri Kümesi, tren seti ile geçerli/test setleri arasında örtüşen hiçbir araç olmaksızın tren, geçerli ve test setlerine bölünmüştür.

  • İndirme boyutu : 73.07 GiB

  • Veri kümesi boyutu : 73.09 GiB

  • bölmeler :

Bölmek örnekler
'test' 4.096
'train' 289.205
'valid' 12.678
  • Özellik yapısı :
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
ses Ses (64000,) şamandıra32
İD tensör sicim
enstrüman ÖzelliklerDict
enstrüman/aile SınıfEtiketi int64
enstrüman/etiket SınıfEtiketi int64
enstrüman/kaynak SınıfEtiketi int64
saha SınıfEtiketi int64
nitelikler ÖzelliklerDict
nitelikler/parlak tensör bool
nitelikler/karanlık tensör bool
nitelikler/bozulma tensör bool
nitelikler/fast_decay tensör bool
nitelikler/uzun_yayın tensör bool
nitelikler/çok sesli tensör bool
nitelikler/doğrusal olmayan_env tensör bool
nitelikler/vurmalı tensör bool
nitelikler/yankı tensör bool
nitelikler/tempo-senkronize edilmiş tensör bool
hız SınıfEtiketi int64

nsynth/gansynth_subkümesi

  • Yapılandırma açıklaması : NSynth Veri Kümesi, MIDI perde aralığında [24, 84] akustik enstrümanlarla sınırlıdır. Tren seti ile geçerli/test setleri arasında enstrümanlarda örtüşen (ancak tam notalar olmayan) alternatif bölmeler kullanır. Bu varyant ilk olarak ICLR 2019 GANSynth makalesinde ( https://arxiv.org/abs/1902.08710 ) tanıtıldı.

  • İndirme boyutu : 73.08 GiB

  • Veri kümesi boyutu : 20.73 GiB

  • bölmeler :

Bölmek örnekler
'test' 8.518
'train' 60.788
'valid' 17.469
  • Özellik yapısı :
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
ses Ses (64000,) şamandıra32
İD tensör sicim
enstrüman ÖzelliklerDict
enstrüman/aile SınıfEtiketi int64
enstrüman/etiket SınıfEtiketi int64
enstrüman/kaynak SınıfEtiketi int64
saha SınıfEtiketi int64
nitelikler ÖzelliklerDict
nitelikler/parlak tensör bool
nitelikler/karanlık tensör bool
nitelikler/bozulma tensör bool
nitelikler/fast_decay tensör bool
nitelikler/uzun_yayın tensör bool
nitelikler/çok sesli tensör bool
nitelikler/doğrusal olmayan_env tensör bool
nitelikler/vurmalı tensör bool
nitelikler/yankı tensör bool
nitelikler/tempo-senkronize edilmiş tensör bool
hız SınıfEtiketi int64

nsynth/gansynth_subset.f0_and_loudness

  • Yapılandırma açıklaması : NSynth Veri Kümesi, MIDI perde aralığında [24, 84] akustik enstrümanlarla sınırlıdır. Tren seti ile geçerli/test setleri arasında enstrümanlarda örtüşen (ancak tam notalar olmayan) alternatif bölmeler kullanır. Bu varyant ilk olarak ICLR 2019 GANSynth makalesinde ( https://arxiv.org/abs/1902.08710 ) tanıtıldı. Bu sürüm ayrıca CREPE (Kim ve diğerleri, 2018) kullanılarak F0 için tahminler ve desibel cinsinden A ağırlıklı algısal ses yüksekliği içerir. Her iki sinyal de 250 Hz kare hızında sağlanır.

  • İndirme boyutu : 73.08 GiB

  • Veri kümesi boyutu : 22.03 GiB

  • bölmeler :

Bölmek örnekler
'test' 8.518
'train' 60.788
'valid' 17.469
  • Özellik yapısı :
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'f0': FeaturesDict({
        'confidence': Tensor(shape=(1000,), dtype=float32),
        'hz': Tensor(shape=(1000,), dtype=float32),
        'midi': Tensor(shape=(1000,), dtype=float32),
    }),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'loudness': FeaturesDict({
        'db': Tensor(shape=(1000,), dtype=float32),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
ses Ses (64000,) şamandıra32
f0 ÖzelliklerDict
f0/güven tensör (1000,) şamandıra32
f0/hz tensör (1000,) şamandıra32
f0/orta tensör (1000,) şamandıra32
İD tensör sicim
enstrüman ÖzelliklerDict
enstrüman/aile SınıfEtiketi int64
enstrüman/etiket SınıfEtiketi int64
enstrüman/kaynak SınıfEtiketi int64
ses yüksekliği ÖzelliklerDict
ses yüksekliği/db tensör (1000,) şamandıra32
saha SınıfEtiketi int64
nitelikler ÖzelliklerDict
nitelikler/parlak tensör bool
nitelikler/karanlık tensör bool
nitelikler/bozulma tensör bool
nitelikler/fast_decay tensör bool
nitelikler/uzun_yayın tensör bool
nitelikler/çok sesli tensör bool
nitelikler/doğrusal olmayan_env tensör bool
nitelikler/vurmalı tensör bool
nitelikler/yankı tensör bool
nitelikler/tempo-senkronize edilmiş tensör bool
hız SınıfEtiketi int64