nsynth

• תיאור :

מערך הנתונים של NSynth הוא מערך שמע המכיל ~300,000 תווים מוזיקליים, כל אחד עם גובה הצליל, הגוון והמעטפה ייחודיים. כל הערה מסומנת בשלושה פיסות מידע נוספות המבוססות על שילוב של הערכה אנושית ואלגוריתמים היוריסטיים: מקור, משפחה ואיכויות.

• תיעוד נוסף : חקור על ניירות עם קוד

• דף הבית : https://g.co/magenta/nsynth-dataset

• קוד מקור : tfds.datasets.nsynth.Builder

• גרסאות :

  • 2.3.0 : תכונת loudness_db חדשה בדציבלים (לא מנורמל).
  • 2.3.1 : F0 מחושב עם תיקון נורמליזציה ב-CREPE.
  • 2.3.2 : השתמש בתכונת אודיו.
  • 2.3.3 (ברירת מחדל): F0 מחושב עם תיקון בנורמליזציה של גלי CREPE ( https://github.com/marl/crepe/issues/49 ).

• שמירה אוטומטית במטמון ( תיעוד ): לא

• מפתחות בפיקוח (ראה as_supervised doc ): None

• איור ( tfds.show_examples ): לא נתמך.

• ציטוט :

@InProceedings{pmlr-v70-engel17a,
  title =    {Neural Audio Synthesis of Musical Notes with {W}ave{N}et Autoencoders},
  author =   {Jesse Engel and Cinjon Resnick and Adam Roberts and Sander Dieleman and Mohammad Norouzi and Douglas Eck and Karen Simonyan},
  booktitle =    {Proceedings of the 34th International Conference on Machine Learning},
  pages =    {1068--1077},
  year =     {2017},
  editor =   {Doina Precup and Yee Whye Teh},
  volume =   {70},
  series =   {Proceedings of Machine Learning Research},
  address =      {International Convention Centre, Sydney, Australia},
  month =    {06--11 Aug},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v70/engel17a/engel17a.pdf},
  url =      {http://proceedings.mlr.press/v70/engel17a.html},
}

nsynth/full (תצורת ברירת מחדל)

• תיאור תצורה : ערכת הנתונים המלאה של NSynth מפוצלת לקבוצות רכבת, חוקיות ובדיקות, ללא מכשירים חופפים בין ערכת הרכבת לבין ערכות הבדיקה התקפות.

• גודל הורדה : 73.07 GiB

• גודל מערך נתונים : 73.09 GiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	4,096
'train'	289,205
'valid'	12,678

• מבנה תכונה :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

• תיעוד תכונה :

תכונה	מעמד	צוּרָה	Dtype	תיאור
	FeaturesDict
שֶׁמַע	שֶׁמַע	(64000,)	לצוף32
תְעוּדַת זֶהוּת	מוֹתֵחַ		חוּט
כלי	FeaturesDict
כלי נגינה/משפחה	ClassLabel		int64
מכשיר/תווית	ClassLabel		int64
מכשיר/מקור	ClassLabel		int64
גובה הצליל	ClassLabel		int64
איכויות	FeaturesDict
תכונות/בהירות	מוֹתֵחַ		bool
תכונות/כהות	מוֹתֵחַ		bool
איכויות/עיוות	מוֹתֵחַ		bool
איכויות/דעיכה_מהירה	מוֹתֵחַ		bool
איכויות/שחרור_ארוך	מוֹתֵחַ		bool
איכויות/מולטיפוניות	מוֹתֵחַ		bool
qualities/nonlinear_env	מוֹתֵחַ		bool
איכויות/הקשה	מוֹתֵחַ		bool
איכויות/הדהוד	מוֹתֵחַ		bool
איכויות/מסונכרן טמפו	מוֹתֵחַ		bool
מְהִירוּת	ClassLabel		int64

• דוגמאות ( tfds.as_dataframe ):

nsynth/gansynth_subset

• תיאור תצורה : מערך נתונים של NSynth מוגבל לכלים אקוסטיים במרווח הגובה של MIDI [24, 84]. משתמש בפיצולים חלופיים שיש להם חפיפה במכשירים (אך לא בהערות מדויקות) בין ערכת הרכבת לבין ערכות תקפות/בדיקה. גרסה זו הוצגה במקור במאמר ICLR 2019 GANSynth ( https://arxiv.org/abs/1902.08710 ).

• גודל הורדה : 73.08 GiB

• גודל ערכת נתונים: 20.73 GiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	8,518
'train'	60,788
'valid'	17,469

• מבנה תכונה :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

• תיעוד תכונה :

תכונה	מעמד	צוּרָה	Dtype	תיאור
	FeaturesDict
שֶׁמַע	שֶׁמַע	(64000,)	לצוף32
תְעוּדַת זֶהוּת	מוֹתֵחַ		חוּט
כלי	FeaturesDict
כלי נגינה/משפחה	ClassLabel		int64
מכשיר/תווית	ClassLabel		int64
מכשיר/מקור	ClassLabel		int64
גובה הצליל	ClassLabel		int64
איכויות	FeaturesDict
תכונות/בהירות	מוֹתֵחַ		bool
תכונות/כהות	מוֹתֵחַ		bool
איכויות/עיוות	מוֹתֵחַ		bool
איכויות/דעיכה_מהירה	מוֹתֵחַ		bool
איכויות/שחרור_ארוך	מוֹתֵחַ		bool
איכויות/מולטיפוניות	מוֹתֵחַ		bool
qualities/nonlinear_env	מוֹתֵחַ		bool
איכויות/הקשה	מוֹתֵחַ		bool
איכויות/הדהוד	מוֹתֵחַ		bool
איכויות/מסונכרן טמפו	מוֹתֵחַ		bool
מְהִירוּת	ClassLabel		int64

• דוגמאות ( tfds.as_dataframe ):

nsynth/gansynth_subset.f0_and_loudness

• תיאור תצורה : מערך נתונים של NSynth מוגבל לכלים אקוסטיים במרווח הגובה של MIDI [24, 84]. משתמש בפיצולים חלופיים שיש להם חפיפה במכשירים (אך לא בהערות מדויקות) בין ערכת הרכבת לבין ערכות תקפות/בדיקה. גרסה זו הוצגה במקור במאמר ICLR 2019 GANSynth ( https://arxiv.org/abs/1902.08710 ). גרסה זו מכילה בנוסף אומדנים עבור F0 באמצעות CREPE (Kim et al., 2018) ועוצמה תפיסתית משוקללת בדציבלים. שני האותות מסופקים בקצב פריימים של 250 הרץ.

• גודל הורדה : 73.08 GiB

• גודל מערך נתונים : 22.03 GiB

• פיצולים :

לְפַצֵל	דוגמאות
'test'	8,518
'train'	60,788
'valid'	17,469

• מבנה תכונה :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'f0': FeaturesDict({
        'confidence': Tensor(shape=(1000,), dtype=float32),
        'hz': Tensor(shape=(1000,), dtype=float32),
        'midi': Tensor(shape=(1000,), dtype=float32),
    }),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'loudness': FeaturesDict({
        'db': Tensor(shape=(1000,), dtype=float32),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

• תיעוד תכונה :

תכונה	מעמד	צוּרָה	Dtype	תיאור
	FeaturesDict
שֶׁמַע	שֶׁמַע	(64000,)	לצוף32
f0	FeaturesDict
f0/ביטחון	מוֹתֵחַ	(1000,)	לצוף32
f0/hz	מוֹתֵחַ	(1000,)	לצוף32
f0/midi	מוֹתֵחַ	(1000,)	לצוף32
תְעוּדַת זֶהוּת	מוֹתֵחַ		חוּט
כלי	FeaturesDict
כלי נגינה/משפחה	ClassLabel		int64
מכשיר/תווית	ClassLabel		int64
מכשיר/מקור	ClassLabel		int64
קוֹלָנִיוּת	FeaturesDict
עוצמת קול/db	מוֹתֵחַ	(1000,)	לצוף32
גובה הצליל	ClassLabel		int64
איכויות	FeaturesDict
תכונות/בהירות	מוֹתֵחַ		bool
תכונות/כהות	מוֹתֵחַ		bool
איכויות/עיוות	מוֹתֵחַ		bool
איכויות/דעיכה_מהירה	מוֹתֵחַ		bool
איכויות/שחרור_ארוך	מוֹתֵחַ		bool
איכויות/מולטיפוניות	מוֹתֵחַ		bool
qualities/nonlinear_env	מוֹתֵחַ		bool
איכויות/הקשה	מוֹתֵחַ		bool
איכויות/הדהוד	מוֹתֵחַ		bool
איכויות/מסונכרן טמפו	מוֹתֵחַ		bool
מְהִירוּת	ClassLabel		int64

• דוגמאות ( tfds.as_dataframe ):