פלח_כל דבר

  • תיאור :

הורד SA-1B

Segment Anything 1 Billion (SA-1B) הוא מערך נתונים המיועד לאימון מודלים של פילוח אובייקטים לשימוש כללי מתמונות עולם פתוח. מערך הנתונים הוצג במאמר "Segment Anything" .

מערך הנתונים של SA-1B מורכב מ-11 מיליון תמונות מגוונות, ברזולוציה גבוהה, ברישיון והגנה על פרטיות והערות מסכות של 1.1B. מסכות ניתנות בפורמט COCO run-length encoding (RLE), ואין להן מחלקות.

הרישיון מותאם אישית. אנא קרא את התנאים וההגבלות המלאים בכתובת https://ai.facebook.com/datasets/segment-anything-downloads

כל התכונות נמצאות במערך הנתונים המקורי מלבד image.content (תוכן התמונה).

אתה יכול לפענח מסכות פילוח עם:

import tensorflow_datasets as tfds

pycocotools = tfds.core.lazy_imports.pycocotools

ds = tfds.load('segment_anything', split='train')
for example in tfds.as_numpy(ds):
  segmentation = example['annotations']['segmentation']
  for counts, size in zip(segmentation['counts'], segmentation['size']):
    encoded_mask = {'size': size, 'counts': counts}
    mask = pycocotools.decode(encoded_mask)  # np.array(dtype=uint8) mask
    ...
לְפַצֵל דוגמאות
'train' 11,185,362
  • מבנה תכונה :
FeaturesDict({
    'annotations': Sequence({
        'area': Scalar(shape=(), dtype=uint64, description=The area in pixels of the mask.),
        'bbox': BBoxFeature(shape=(4,), dtype=float32, description=The box around the mask, in TFDS format.),
        'crop_box': BBoxFeature(shape=(4,), dtype=float32, description=The crop of the image used to generate the mask, in TFDS format.),
        'id': Scalar(shape=(), dtype=uint64, description=Identifier for the annotation.),
        'point_coords': Tensor(shape=(1, 2), dtype=float64, description=The point coordinates input to the model to generate the mask.),
        'predicted_iou': Scalar(shape=(), dtype=float64, description=The model's own prediction of the mask's quality.),
        'segmentation': FeaturesDict({
            'counts': string,
            'size': Tensor(shape=(2,), dtype=uint64),
        }),
        'stability_score': Scalar(shape=(), dtype=float64, description=A measure of the mask's quality.),
    }),
    'image': FeaturesDict({
        'content': Image(shape=(None, None, 3), dtype=uint8, description=Content of the image.),
        'file_name': string,
        'height': uint64,
        'image_id': uint64,
        'width': uint64,
    }),
})
  • תיעוד תכונה :
תכונה מַחלָקָה צוּרָה Dtype תֵאוּר
FeaturesDict
הערות רֶצֶף
הערות/אזור סקלר uint64 השטח בפיקסלים של המסכה.
הערות/bbox BBoxFeature (4,) לצוף32 הקופסה מסביב למסכה, בפורמט TFDS.
הערות/תיבת חיתוך BBoxFeature (4,) לצוף32 חיתוך התמונה המשמש ליצירת המסכה, בפורמט TFDS.
הערות/מזהה סקלר uint64 מזהה עבור ההערה.
הערות/נקודות_קורדים מוֹתֵחַ (1, 2) לצוף64 הנקודה מתאמת קלט למודל כדי ליצור את המסכה.
הערות/חזוי_יו סקלר לצוף64 חיזוי של הדגם עצמו לגבי איכות המסכה.
הערות/פילוח FeaturesDict מסכת פילוח מקודדת בפורמט COCO RLE (dict עם size מפתחות counts ).
הערות/פילוח/ספירות מוֹתֵחַ חוּט
הערות/פילוח/גודל מוֹתֵחַ (2,) uint64
הערות/ציון_יציבות סקלר לצוף64 מדד לאיכות המסכה.
תְמוּנָה FeaturesDict
תמונה/תוכן תְמוּנָה (אין, אין, 3) uint8 תוכן התמונה.
image/file_name מוֹתֵחַ חוּט
תמונה/גובה מוֹתֵחַ uint64
image/image_id מוֹתֵחַ uint64
תמונה/רוחב מוֹתֵחַ uint64
@misc{kirillov2023segment,
  title={Segment Anything},
  author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
  year={2023},
  eprint={2304.02643},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}