нсинт

Описание :

Набор данных NSynth — это набор аудиоданных, содержащий около 300 тысяч музыкальных нот, каждая из которых имеет уникальную высоту тона, тембр и огибающую. Каждое примечание снабжено тремя дополнительными элементами информации, основанными на сочетании человеческой оценки и эвристических алгоритмов: Источник, Семья и Качества.

Дополнительная документация : изучить документы с кодом
Домашняя страница : https://g.co/magenta/nsynth-dataset
Исходный код : tfds.datasets.nsynth.Builder
Версии :
- 2.3.0 : Новая функция loudness_db в децибелах (ненормализованная).
- 2.3.1 : F0 вычисляется с исправлением нормализации в CREPE.
- 2.3.2 : Используйте функцию аудио.
- 2.3.3 (по умолчанию): F0 вычисляется с исправлением в нормализации волны CREPE ( https://github.com/marl/crepe/issues/49 ).
Автоматическое кэширование ( документация ): Нет
Ключи под наблюдением (см . документ as_supervised ): None
Рисунок ( tfds.show_examples ): не поддерживается.
Цитата :

@InProceedings{pmlr-v70-engel17a,
  title =    {Neural Audio Synthesis of Musical Notes with {W}ave{N}et Autoencoders},
  author =   {Jesse Engel and Cinjon Resnick and Adam Roberts and Sander Dieleman and Mohammad Norouzi and Douglas Eck and Karen Simonyan},
  booktitle =    {Proceedings of the 34th International Conference on Machine Learning},
  pages =    {1068--1077},
  year =     {2017},
  editor =   {Doina Precup and Yee Whye Teh},
  volume =   {70},
  series =   {Proceedings of Machine Learning Research},
  address =      {International Convention Centre, Sydney, Australia},
  month =    {06--11 Aug},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v70/engel17a/engel17a.pdf},
  url =      {http://proceedings.mlr.press/v70/engel17a.html},
}

nsynth/full (конфигурация по умолчанию)

Описание конфигурации : Полный набор данных NSynth разделен на обучающий, действительный и тестовый наборы, при этом никакие инструменты не перекрываются между обучающим набором и действительным/тестовым набором.
Размер загрузки : 73.07 GiB
Размер набора данных : 73.09 GiB
Сплиты :

Расколоть	Примеры
`'test'`	4096
`'train'`	289 205
`'valid'`	12 678

Структура функции :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

Документация по функциям :

Особенность	Сорт	Форма	Dтип
	ОсобенностиDict
аудио	Аудио	(64000,)	поплавок32
идентификатор	Тензор		нить
инструмент	ОсобенностиDict
инструмент/семья	Метка класса		int64
инструмент/этикетка	Метка класса		int64
инструмент/источник	Метка класса		int64
подача	Метка класса		int64
качества	ОсобенностиDict
качества/яркий	Тензор		логический
качества/темный	Тензор		логический
качества/искажения	Тензор		логический
качества/fast_decay	Тензор		логический
качества/long_release	Тензор		логический
качества/многоголосый	Тензор		логический
качества/nonlinear_env	Тензор		логический
качества / ударные	Тензор		логический
качества/реверберация	Тензор		логический
качество/темп-синхронизация	Тензор		логический
скорость	Метка класса		int64

Примеры ( tfds.as_dataframe ):

nsynth/gansynth_subset

Описание конфигурации : набор данных NSynth ограничен акустическими инструментами в интервале высоты тона MIDI [24, 84]. Использует альтернативные разделения, которые имеют перекрытие в инструментах (но не точные ноты) между набором поездов и действительными / тестовыми наборами. Этот вариант был первоначально представлен в документе ICLR 2019 GANSynth ( https://arxiv.org/abs/1902.08710 ).
Размер загрузки : 73.08 GiB
Размер набора данных : 20.73 GiB
Сплиты :

Расколоть	Примеры
`'test'`	8 518
`'train'`	60 788
`'valid'`	17 469

Структура функции :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

Документация по функциям :

Особенность	Сорт	Форма	Dтип
	ОсобенностиDict
аудио	Аудио	(64000,)	поплавок32
идентификатор	Тензор		нить
инструмент	ОсобенностиDict
инструмент/семья	Метка класса		int64
инструмент/этикетка	Метка класса		int64
инструмент/источник	Метка класса		int64
подача	Метка класса		int64
качества	ОсобенностиDict
качества/яркий	Тензор		логический
качества/темный	Тензор		логический
качества/искажения	Тензор		логический
качества/fast_decay	Тензор		логический
качества/long_release	Тензор		логический
качества/многоголосый	Тензор		логический
качества/nonlinear_env	Тензор		логический
качества / ударные	Тензор		логический
качества/реверберация	Тензор		логический
качество/темп-синхронизация	Тензор		логический
скорость	Метка класса		int64

Примеры ( tfds.as_dataframe ):

nsynth/gansynth_subset.f0_and_loudness

Описание конфигурации : набор данных NSynth ограничен акустическими инструментами в интервале высоты тона MIDI [24, 84]. Использует альтернативные разделения, которые имеют перекрытие в инструментах (но не точные ноты) между набором поездов и действительными / тестовыми наборами. Этот вариант был первоначально представлен в документе ICLR 2019 GANSynth ( https://arxiv.org/abs/1902.08710 ). Эта версия дополнительно содержит оценки для F0 с использованием CREPE (Kim et al., 2018) и взвешенной по шкале А воспринимаемой громкости в децибелах. Оба сигнала предоставляются с частотой кадров 250 Гц.
Размер загрузки : 73.08 GiB
Размер набора данных : 22.03 GiB
Сплиты :

Расколоть	Примеры
`'test'`	8 518
`'train'`	60 788
`'valid'`	17 469

Структура функции :

FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=float32),
    'f0': FeaturesDict({
        'confidence': Tensor(shape=(1000,), dtype=float32),
        'hz': Tensor(shape=(1000,), dtype=float32),
        'midi': Tensor(shape=(1000,), dtype=float32),
    }),
    'id': string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
    }),
    'loudness': FeaturesDict({
        'db': Tensor(shape=(1000,), dtype=float32),
    }),
    'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': bool,
        'dark': bool,
        'distortion': bool,
        'fast_decay': bool,
        'long_release': bool,
        'multiphonic': bool,
        'nonlinear_env': bool,
        'percussive': bool,
        'reverb': bool,
        'tempo-synced': bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})

Документация по функциям :

Особенность	Сорт	Форма	Dтип
	ОсобенностиDict
аудио	Аудио	(64000,)	поплавок32
f0	ОсобенностиDict
f0/уверенность	Тензор	(1000,)	поплавок32
f0/Гц	Тензор	(1000,)	поплавок32
f0/миди	Тензор	(1000,)	поплавок32
идентификатор	Тензор		нить
инструмент	ОсобенностиDict
инструмент/семья	Метка класса		int64
инструмент/этикетка	Метка класса		int64
инструмент/источник	Метка класса		int64
громкость	ОсобенностиDict
громкость/дБ	Тензор	(1000,)	поплавок32
подача	Метка класса		int64
качества	ОсобенностиDict
качества/яркий	Тензор		логический
качества/темный	Тензор		логический
качества/искажения	Тензор		логический
качества/fast_decay	Тензор		логический
качества/long_release	Тензор		логический
качества/многоголосый	Тензор		логический
качества/nonlinear_env	Тензор		логический
качества / ударные	Тензор		логический
качества/реверберация	Тензор		логический
качество/темп-синхронизация	Тензор		логический
скорость	Метка класса		int64

Примеры ( tfds.as_dataframe ):