gref

Aviso: download manual necessário. Veja as instruções abaixo.

• Descrição :

O conjunto de dados Google RefExp é uma coleção de descrições de texto de objetos em imagens que se baseiam no conjunto de dados MS-COCO disponível publicamente. Considerando que as legendas de imagem no MS-COCO se aplicam a toda a imagem, este conjunto de dados se concentra em descrições de texto que permitem identificar exclusivamente um único objeto ou região dentro de uma imagem. Veja mais detalhes neste artigo: Geração e Compreensão de Descrições Inequívocas de Objetos.

• Documentação Adicional : Explore em Papers With Code

• Página inicial : https://github.com/mjhucla/Google_Refexp_toolbox

• Código -fonte: tfds.vision_language.gref.Gref

• Versões :

  • 1.0.0 (padrão): versão inicial.

• Tamanho do download : Unknown size

• Tamanho do conjunto de dados : 4.60 GiB

• Instruções de download manual : este conjunto de dados exige que você baixe os dados de origem manualmente em download_config.manual_dir (o padrão é ~/tensorflow_datasets/downloads/manual/ ):
  Siga as instruções em https://github.com/mjhucla/Google_Refexp_toolbox para baixar e pré-processar os dados em formato alinhado com COCO. O diretório contém 2 arquivos e uma pasta:

• google_refexp_train_201511_coco_aligned_catg.json

• google_refexp_val_201511_coco_aligned_catg.json

• coco_train2014/

A pasta coco_train2014 contém todas as imagens de treinamento do COCO 2014.

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

Dividir	Exemplos
'train'	24.698
'validation'	4.650

• Estrutura de recursos :

FeaturesDict({
    'image': Image(shape=(None, None, 3), dtype=uint8),
    'image/id': int64,
    'objects': Sequence({
        'area': int64,
        'bbox': BBoxFeature(shape=(4,), dtype=float32),
        'id': int64,
        'label': int64,
        'label_name': ClassLabel(shape=(), dtype=int64, num_classes=80),
        'refexp': Sequence({
            'raw': Text(shape=(), dtype=string),
            'referent': Text(shape=(), dtype=string),
            'refexp_id': int64,
            'tokens': Sequence(Text(shape=(), dtype=string)),
        }),
    }),
})

• Documentação do recurso:

Característica	Classe	Forma	Tipo D	Descrição
	RecursosDict
imagem	Imagem	(Nenhuma, Nenhuma, 3)	uint8
imagem/id	tensor		int64
objetos	Seqüência
objetos/área	tensor		int64
objetos/bbox	Recurso BBox	(4,)	float32
objetos/id	tensor		int64
objetos/rótulo	tensor		int64
objetos/label_name	ClassLabel		int64
objetos/refexp	Seqüência
objetos/refexp/raw	Texto		corda
objetos/refexp/referente	Texto		corda
objetos/refexp/refexp_id	tensor		int64
objetos/refexp/tokens	Sequência (Texto)	(Nenhum,)	corda

• Chaves supervisionadas (Consulte as_supervised doc ): None

• Figura ( tfds.show_examples ):

• Exemplos ( tfds.as_dataframe ):

• Citação :

@inproceedings{mao2016generation,
  title={Generation and Comprehension of Unambiguous Object Descriptions},
  author={Mao, Junhua and Huang, Jonathan and Toshev, Alexander and Camburu, Oana and Yuille, Alan and Murphy, Kevin},
  booktitle={CVPR},
  year={2016}
}