сегмент_что-нибудь

  • Описание :

СА-1Б Скачать

Segment Anything 1 Billion (SA-1B) — это набор данных, предназначенный для обучения моделей сегментации объектов общего назначения на изображениях открытого мира. Набор данных был представлен в статье «Сегментируйте что угодно» .

Набор данных SA-1B состоит из 11 миллионов разнообразных лицензированных и конфиденциальных изображений высокого разрешения и 1,1 миллиарда аннотаций масок. Маски задаются в формате кодирования длин серий COCO (RLE) и не имеют классов.

Лицензия является индивидуальной. Пожалуйста, ознакомьтесь с полными условиями на https://ai.facebook.com/datasets/segment-anything-downloads.

Все функции находятся в исходном наборе данных, кроме image.content (содержимое изображения).

Вы можете декодировать маски сегментации с помощью:

import tensorflow_datasets as tfds

pycocotools = tfds.core.lazy_imports.pycocotools

ds = tfds.load('segment_anything', split='train')
for example in tfds.as_numpy(ds):
  segmentation = example['annotations']['segmentation']
  for counts, size in zip(segmentation['counts'], segmentation['size']):
    encoded_mask = {'size': size, 'counts': counts}
    mask = pycocotools.decode(encoded_mask)  # np.array(dtype=uint8) mask
    ...

  • Домашняя страница : https://ai.facebook.com/datasets/segment-anything-downloads

  • Исходный код : tfds.datasets.segment_anything.Builder

  • Версии :

    • 1.0.0 (по умолчанию): первоначальный выпуск.

  • Размер загрузки : 10.28 TiB

  • Размер набора данных : 10.59 TiB

  • Инструкции по загрузке вручную : этот набор данных требует, чтобы вы вручную загрузили исходные данные в download_config.manual_dir (по умолчанию ~/tensorflow_datasets/downloads/manual/ ):
    Загрузите файл ссылок с https://ai.facebook.com/datasets/segment-anything-downloads. manual_dir должен содержать файл ссылок, сохраненный как сегмент_anything_links.txt.

  • Автокэширование ( документация ): Нет

  • Расколы :

Расколоть Примеры
'train' 11 185 362
  • Структура функции : 
FeaturesDict({
    'annotations': Sequence({
        'area': Scalar(shape=(), dtype=uint64, description=The area in pixels of the mask.),
        'bbox': BBoxFeature(shape=(4,), dtype=float32, description=The box around the mask, in TFDS format.),
        'crop_box': BBoxFeature(shape=(4,), dtype=float32, description=The crop of the image used to generate the mask, in TFDS format.),
        'id': Scalar(shape=(), dtype=uint64, description=Identifier for the annotation.),
        'point_coords': Tensor(shape=(1, 2), dtype=float64, description=The point coordinates input to the model to generate the mask.),
        'predicted_iou': Scalar(shape=(), dtype=float64, description=The model's own prediction of the mask's quality.),
        'segmentation': FeaturesDict({
            'counts': string,
            'size': Tensor(shape=(2,), dtype=uint64),
        }),
        'stability_score': Scalar(shape=(), dtype=float64, description=A measure of the mask's quality.),
    }),
    'image': FeaturesDict({
        'content': Image(shape=(None, None, 3), dtype=uint8, description=Content of the image.),
        'file_name': string,
        'height': uint64,
        'image_id': uint64,
        'width': uint64,
    }),
})
  • Функциональная документация :
Особенность Сорт Форма Дтип Описание
ВозможностиDict
аннотации Последовательность
аннотации/область Скаляр uint64 Площадь маски в пикселях.
аннотации/bbox BBoxFeature (4,) float32 Рамка вокруг маски в формате TFDS.
аннотации/crop_box BBoxFeature (4,) float32 Обрезка изображения, используемого для создания маски, в формате TFDS.
аннотации/идентификатор Скаляр uint64 Идентификатор аннотации.
аннотации/point_coords Тензор (1, 2) float64 Координаты точки, вводимые в модель для создания маски.
аннотации/predicted_iou Скаляр float64 Собственный прогноз модели относительно качества маски.
аннотации/сегментация ВозможностиDict Закодированная маска сегментации в формате COCO RLE (диктофон с size и counts ключей).
аннотации/сегментация/подсчеты Тензор нить
аннотации/сегментация/размер Тензор (2,) uint64
аннотации/stability_score Скаляр float64 Мера качества маски.
изображение ВозможностиDict
изображение/содержание Изображение (Нет, Нет, 3) uint8 Содержание изображения.
изображение/имя_файла Тензор нить
изображение/высота Тензор uint64
изображение/идентификатор_изображения Тензор uint64
изображение/ширина Тензор uint64
  • Цитата : 
@misc{kirillov2023segment,
  title={Segment Anything},
  author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
  year={2023},
  eprint={2304.02643},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}