신스

  • 설명 :

NSynth Dataset은 각각 고유한 피치, 음색 및 엔벌로프가 있는 ~300k 음표를 포함하는 오디오 데이터셋입니다. 각 메모에는 사람의 평가와 휴리스틱 알고리즘의 조합을 기반으로 하는 세 가지 추가 정보(Source, Family 및 Qualities)가 주석으로 추가됩니다.

@InProceedings{pmlr-v70-engel17a,
  title =    {Neural Audio Synthesis of Musical Notes with {W}ave{N}et Autoencoders},
  author =   {Jesse Engel and Cinjon Resnick and Adam Roberts and Sander Dieleman and Mohammad Norouzi and Douglas Eck and Karen Simonyan},
  booktitle =    {Proceedings of the 34th International Conference on Machine Learning},
  pages =    {1068--1077},
  year =     {2017},
  editor =   {Doina Precup and Yee Whye Teh},
  volume =   {70},
  series =   {Proceedings of Machine Learning Research},
  address =      {International Convention Centre, Sydney, Australia},
  month =    {06--11 Aug},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v70/engel17a/engel17a.pdf},
  url =      {http://proceedings.mlr.press/v70/engel17a.html},
}

nsynth/full(기본 구성)

  • 구성 설명 : 전체 NSynth 데이터 세트는 기차 세트와 유효한/테스트 세트 간에 겹치는 도구 없이 기차, 유효 및 테스트 세트로 분할됩니다.

  • 다운로드 크기 : 73.07 GiB

  • 데이터세트 크기 : 73.09 GiB

  • 분할 :

나뉘다 예
'test' 4,096
'train' 289,205
'valid' 12,678
  • 기능 구조 :
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • 기능 문서 :
특징 수업 모양 D타입 설명
풍모Dict
오디오 오디오 (64000,) float32
ID 텐서 끈
기구 풍모Dict
악기/패밀리 클래스 레이블 int64
악기/라벨 클래스 레이블 int64
악기/소스 클래스 레이블 int64
정점 클래스 레이블 int64
자질 풍모Dict
자질/밝음 텐서 부울
자질/어둠 텐서 부울
품질/왜곡 텐서 부울
품질/fast_decay 텐서 부울
품질/long_release 텐서 부울
품질/다성 텐서 부울
품질/nonlinear_env 텐서 부울
자질/타격 텐서 부울
품질/반향 텐서 부울
품질/템포 동기화 텐서 부울
속도 클래스 레이블 int64

nsynth/gansynth_subset

  • 구성 설명 : NSynth Dataset은 MIDI 피치 간격 [24, 84]의 어쿠스틱 악기로 제한됩니다. 기차 세트와 유효한/테스트 세트 사이에 악기에 중복되는(정확한 음표는 아님) 대체 분할을 사용합니다. 이 변종은 원래 ICLR 2019 GANSynth 논문( https://arxiv.org/abs/1902.08710 )에 소개되었습니다.

  • 다운로드 크기 : 73.08 GiB

  • 데이터세트 크기 : 20.73 GiB

  • 분할 :

나뉘다 예
'test' 8,518
'train' 60,788
'valid' 17,469
  • 기능 구조 :
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • 기능 문서 :
특징 수업 모양 D타입 설명
풍모Dict
오디오 오디오 (64000,) float32
ID 텐서 끈
기구 풍모Dict
악기/패밀리 클래스 레이블 int64
악기/레이블 클래스 레이블 int64
악기/소스 클래스 레이블 int64
정점 클래스 레이블 int64
자질 풍모Dict
자질/밝음 텐서 부울
자질/어둠 텐서 부울
품질/왜곡 텐서 부울
품질/fast_decay 텐서 부울
품질/long_release 텐서 부울
품질/다성 텐서 부울
품질/nonlinear_env 텐서 부울
자질/타격 텐서 부울
품질/반향 텐서 부울
품질/템포 동기화 텐서 부울
속도 클래스 레이블 int64

nsynth/gansynth_subset.f0_and_loudness

  • 구성 설명 : NSynth Dataset은 MIDI 피치 간격 [24, 84]의 어쿠스틱 악기로 제한됩니다. 기차 세트와 유효한/테스트 세트 사이에 악기에 중복되는(정확한 음표는 아님) 대체 분할을 사용합니다. 이 변종은 원래 ICLR 2019 GANSynth 논문( https://arxiv.org/abs/1902.08710 )에 소개되었습니다. 이 버전에는 CREPE(Kim et al., 2018)를 사용한 F0 추정치와 데시벨 단위의 A 가중 지각 라우드니스가 추가로 포함되어 있습니다. 두 신호 모두 250Hz의 프레임 속도로 제공됩니다.

  • 다운로드 크기 : 73.08 GiB

  • 데이터세트 크기 : 22.03 GiB

  • 분할 :

나뉘다 예
'test' 8,518
'train' 60,788
'valid' 17,469
  • 기능 구조 :
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'f0': FeaturesDict({
        'confidence': Tensor(shape=(1000,), dtype=float32),
        'hz': Tensor(shape=(1000,), dtype=float32),
        'midi': Tensor(shape=(1000,), dtype=float32),
    }),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'loudness': FeaturesDict({
        'db': Tensor(shape=(1000,), dtype=float32),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • 기능 문서 :
특징 수업 모양 D타입 설명
풍모Dict
오디오 오디오 (64000,) float32
f0 풍모Dict
f0/신뢰도 텐서 (1000,) float32
f0/hz 텐서 (1000,) float32
f0/미디 텐서 (1000,) float32
ID 텐서 끈
기구 풍모Dict
악기/패밀리 클래스 레이블 int64
악기/라벨 클래스 레이블 int64
악기/소스 클래스 레이블 int64
소리의 크기 풍모Dict
음량/db 텐서 (1000,) float32
정점 클래스 레이블 int64
자질 풍모Dict
자질/밝음 텐서 부울
자질/어둠 텐서 부울
품질/왜곡 텐서 부울
품질/fast_decay 텐서 부울
품질/long_release 텐서 부울
품질/다성 텐서 부울
품질/nonlinear_env 텐서 부울
자질/타격 텐서 부울
품질/반향 텐서 부울
품질/템포 동기화 텐서 부울
속도 클래스 레이블 int64