nsynth

  • 説明:

NSynth データセットは、それぞれが固有のピッチ、音色、およびエンベロープを持つ約 300,000 の音符を含むオーディオ データセットです。各メモには、人間による評価とヒューリスティック アルゴリズムの組み合わせに基づいて、ソース、ファミリー、品質の 3 つの追加情報が注釈として付けられます。

@InProceedings{pmlr-v70-engel17a,
  title =    {Neural Audio Synthesis of Musical Notes with {W}ave{N}et Autoencoders},
  author =   {Jesse Engel and Cinjon Resnick and Adam Roberts and Sander Dieleman and Mohammad Norouzi and Douglas Eck and Karen Simonyan},
  booktitle =    {Proceedings of the 34th International Conference on Machine Learning},
  pages =    {1068--1077},
  year =     {2017},
  editor =   {Doina Precup and Yee Whye Teh},
  volume =   {70},
  series =   {Proceedings of Machine Learning Research},
  address =      {International Convention Centre, Sydney, Australia},
  month =    {06--11 Aug},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v70/engel17a/engel17a.pdf},
  url =      {http://proceedings.mlr.press/v70/engel17a.html},
}

nsynth/full (デフォルト設定)

  • 構成の説明: 完全な NSynth データセットは、トレーニング、有効、およびテスト セットに分割され、トレーニング セットと有効/テスト セット間で機器が重複することはありません。

  • ダウンロードサイズ: 73.07 GiB

  • データセットサイズ: 73.09 GiB

  • スプリット:

スプリット例
'test' 4,096
'train' 289,205
'valid' 12,678
  • 機能構造:
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • 機能のドキュメント:
特徴クラス形Dtype説明
特徴辞書
オーディオオーディオ(64000,) float32
IDテンソル弦
楽器特徴辞書
楽器/ファミリークラスラベルint64
楽器/レーベルクラスラベルint64
楽器/ソースクラスラベルint64
ピッチクラスラベルint64
資質特徴辞書
資質/明るいテンソルブール
資質/闇テンソルブール
品質/歪みテンソルブール
品質/fast_decayテンソルブール
quality/long_releaseテンソルブール
品質/マルチフォニックテンソルブール
quality/nonlinear_envテンソルブール
資質/パーカッシブテンソルブール
品質/リバーブテンソルブール
品質/テンポ同期テンソルブール
速度クラスラベルint64

nsynth/gansynth_subset

  • 構成の説明: MIDI ピッチ間隔 [24, 84] のアコースティック楽器に限定された NSynth データセット。トレーニング セットと有効/テスト セットの間でインストゥルメントが重複する (ただし正確な音符ではない) 代替分割を使用します。このバリアントは、もともと ICLR 2019 GANSynth ペーパー ( https://arxiv.org/abs/1902.08710 ) で導入されました。

  • ダウンロードサイズ: 73.08 GiB

  • データセットサイズ: 20.73 GiB

  • スプリット:

スプリット例
'test' 8,518
'train' 60,788
'valid' 17,469
  • 機能構造:
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • 機能のドキュメント:
特徴クラス形Dtype説明
特徴辞書
オーディオオーディオ(64000,) float32
IDテンソル弦
楽器特徴辞書
楽器/ファミリークラスラベルint64
楽器/レーベルクラスラベルint64
楽器/ソースクラスラベルint64
ピッチクラスラベルint64
資質特徴辞書
資質/明るいテンソルブール
資質/闇テンソルブール
品質/歪みテンソルブール
品質/fast_decayテンソルブール
quality/long_releaseテンソルブール
品質/マルチフォニックテンソルブール
quality/nonlinear_envテンソルブール
資質/パーカッシブテンソルブール
品質/リバーブテンソルブール
品質/テンポ同期テンソルブール
速度クラスラベルint64

nsynth/gansynth_subset.f0_and_loudness

  • 構成の説明: MIDI ピッチ間隔 [24, 84] のアコースティック楽器に限定された NSynth データセット。トレーニング セットと有効/テスト セットの間でインストゥルメントが重複する (ただし正確な音符ではない) 代替分割を使用します。このバリアントは、もともと ICLR 2019 GANSynth ペーパー ( https://arxiv.org/abs/1902.08710 ) で導入されました。このバージョンには、CREPE (Kim et al., 2018) を使用した F0 の推定値と、デシベル単位の A 加重知覚ラウドネスも含まれています。両方の信号は、250Hz のフレーム レートで提供されます。

  • ダウンロードサイズ: 73.08 GiB

  • データセットサイズ: 22.03 GiB

  • スプリット:

スプリット例
'test' 8,518
'train' 60,788
'valid' 17,469
  • 機能構造:
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'f0': FeaturesDict({
        'confidence': Tensor(shape=(1000,), dtype=float32),
        'hz': Tensor(shape=(1000,), dtype=float32),
        'midi': Tensor(shape=(1000,), dtype=float32),
    }),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'loudness': FeaturesDict({
        'db': Tensor(shape=(1000,), dtype=float32),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • 機能のドキュメント:
特徴クラス形Dtype説明
特徴辞書
オーディオオーディオ(64000,) float32
f0特徴辞書
f0/信頼度テンソル(1000,) float32
f0/hzテンソル(1000,) float32
f0/ミディテンソル(1000,) float32
IDテンソル弦
楽器特徴辞書
楽器/ファミリークラスラベルint64
楽器/レーベルクラスラベルint64
楽器/ソースクラスラベルint64
ラウドネス特徴辞書
ラウドネス/デシベルテンソル(1000,) float32
ピッチクラスラベルint64
資質特徴辞書
資質/明るいテンソルブール
資質/闇テンソルブール
品質/歪みテンソルブール
品質/fast_decayテンソルブール
quality/long_releaseテンソルブール
品質/マルチフォニックテンソルブール
quality/nonlinear_envテンソルブール
資質/パーカッシブテンソルブール
品質/リバーブテンソルブール
品質/テンポ同期テンソルブール
速度クラスラベルint64