cifar10_n

  • Descrição :

Uma versão renomeada do CIFAR-10 com erros reais de anotação humana. Para cada par (imagem, rótulo) no conjunto de trens CIFAR-10 original, ele fornece vários rótulos adicionais fornecidos por anotadores humanos reais.

  • Página inicial : https://ucsc-real.soe.ucsc.edu:1995/Home.html/

  • Código -fonte: tfds.image_classification.cifar10_n.Cifar10N

  • Versões :

    • 1.0.0 : versão inicial.
    • 1.0.1 : Correção de erro de digitação na chave worse_label .
    • 1.0.2 : Correspondência fixa entre anotações e imagens.
    • 1.0.3 : Arquivos fixos em MANUAL_DIR .
    • 1.0.4 (padrão): Carregamento fixo de informações secundárias.

  • Tamanho do download : 162.17 MiB

  • Tamanho do conjunto de dados : 147.91 MiB

  • Instruções de download manual : este conjunto de dados exige que você baixe os dados de origem manualmente em download_config.manual_dir (o padrão é ~/tensorflow_datasets/downloads/manual/ ):
    Baixe 'side_info_cifar10N.csv', 'CIFAR-10_human_ordered.npy' e 'image_order_c10.npy' de https://github.com/UCSC-REAL/cifar-10-100n

Em seguida, converta 'CIFAR-10_human_ordered.npy' em um arquivo CSV 'CIFAR-10_human_annotations.csv'. Isso pode ser feito com o seguinte código:

import numpy as np
from tensorflow_datasets.core.utils.lazy_imports_utils import pandas as pd
from tensorflow_datasets.core.utils.lazy_imports_utils import tensorflow as tf

human_labels_np_path = '<local_path>/CIFAR-10_human_ordered.npy'
human_labels_csv_path = '<local_path>/CIFAR-10_human_annotations.csv'

with tf.io.gfile.GFile(human_labels_np_path, "rb") as f:
  human_annotations = np.load(f, allow_pickle=True)

df = pd.DataFrame(human_annotations[()])

with tf.io.gfile.GFile(human_labels_csv_path, "w") as f:
  df.to_csv(f, index=False)
Dividir Exemplos
'test' 10.000
'train' 50.000
  • Estrutura de recursos :
FeaturesDict({
    'aggre_label': ClassLabel(shape=(), dtype=int64, num_classes=10),
    'id': Text(shape=(), dtype=string),
    'image': Image(shape=(32, 32, 3), dtype=uint8),
    'label': ClassLabel(shape=(), dtype=int64, num_classes=10),
    'random_label1': ClassLabel(shape=(), dtype=int64, num_classes=10),
    'random_label2': ClassLabel(shape=(), dtype=int64, num_classes=10),
    'random_label3': ClassLabel(shape=(), dtype=int64, num_classes=10),
    'worker1_id': int64,
    'worker1_time': float32,
    'worker2_id': int64,
    'worker2_time': float32,
    'worker3_id': int64,
    'worker3_time': float32,
    'worse_label': ClassLabel(shape=(), dtype=int64, num_classes=10),
})
  • Documentação do recurso:
Característica Classe Forma Tipo D Descrição
RecursosDict
aggre_label ClassLabel int64
Eu iria Texto corda
imagem Imagem (32, 32, 3) uint8
etiqueta ClassLabel int64
random_label1 ClassLabel int64
random_label2 ClassLabel int64
random_label3 ClassLabel int64
trabalhador1_id tensor int64
worker1_time tensor float32
trabalhador2_id tensor int64
worker2_time tensor float32
trabalhador3_id tensor int64
worker3_time tensor float32
pior_rótulo ClassLabel int64

Visualização

  • Citação :
@inproceedings{wei2022learning,
  title={Learning with Noisy Labels Revisited: A Study Using Real-World Human
  Annotations},
  author={Jiaheng Wei and Zhaowei Zhu and Hao Cheng and Tongliang Liu and Gang
  Niu and Yang Liu},
  booktitle={International Conference on Learning Representations},
  year={2022},
  url={https://openreview.net/forum?id=TBWA6PLJZQm}
}