Os incorporadores de imagens permitem incorporar imagens em um vetor de características de alta dimensão que representa o significado semântico de uma imagem, que pode então ser comparado com o vetor de características de outras imagens para avaliar sua similaridade semântica.
Ao contrário da pesquisa de imagens , o incorporador de imagens permite calcular a semelhança entre imagens dinamicamente, em vez de pesquisar através de um índice predefinido construído a partir de um corpus de imagens.
Use a API Task Library ImageEmbedder
para implantar seu incorporador de imagem personalizado em seus aplicativos móveis.
Principais recursos da API ImageEmbedder
Processamento de imagem de entrada, incluindo rotação, redimensionamento e conversão de espaço de cores.
Região de interesse da imagem de entrada.
Função de utilidade integrada para calcular a similaridade de cosseno entre vetores de recursos.
Modelos de incorporação de imagens compatíveis
Os modelos a seguir são compatíveis com a API ImageEmbedder
.
Modelos vetoriais de recursos da coleção Google Image Modules no TensorFlow Hub .
Modelos personalizados que atendem aos requisitos de compatibilidade de modelos .
Execute inferência em C++
// Initialization
ImageEmbedderOptions options:
options.mutable_model_file_with_metadata()->set_file_name(model_path);
options.set_l2_normalize(true);
std::unique_ptr<ImageEmbedder> image_embedder = ImageEmbedder::CreateFromOptions(options).value();
// Create input frame_buffer_1 and frame_buffer_2 from your inputs `image_data1`, `image_data2`, `image_dimension1` and `image_dimension2`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer_1 = CreateFromRgbRawBuffer(
image_data1, image_dimension1);
std::unique_ptr<FrameBuffer> frame_buffer_2 = CreateFromRgbRawBuffer(
image_data2, image_dimension2);
// Run inference on two images.
const EmbeddingResult result_1 = image_embedder->Embed(*frame_buffer_1);
const EmbeddingResult result_2 = image_embedder->Embed(*frame_buffer_2);
// Compute cosine similarity.
double similarity = ImageEmbedder::CosineSimilarity(
result_1.embeddings[0].feature_vector(),
result_2.embeddings[0].feature_vector());
Consulte o código-fonte para obter mais opções de configuração ImageEmbedder
.
Execute inferência em Python
Etapa 1: Instale o pacote Pypi de suporte do TensorFlow Lite.
Você pode instalar o pacote Pypi de suporte do TensorFlow Lite usando o seguinte comando:
pip install tflite-support
Etapa 2: usando o modelo
from tflite_support.task import vision
# Initialization.
image_embedder = vision.ImageEmbedder.create_from_file(model_path)
# Run inference on two images.
image_1 = vision.TensorImage.create_from_file('/path/to/image1.jpg')
result_1 = image_embedder.embed(image_1)
image_2 = vision.TensorImage.create_from_file('/path/to/image2.jpg')
result_2 = image_embedder.embed(image_2)
# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = image_embedder.cosine_similarity(
result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)
Consulte o código-fonte para obter mais opções de configuração ImageEmbedder
.
Resultados de exemplo
A similaridade de cosseno entre vetores de características normalizados retorna uma pontuação entre -1 e 1. Quanto maior, melhor, ou seja, uma similaridade de cosseno de 1 significa que os dois vetores são idênticos.
Cosine similarity: 0.954312
Experimente a ferramenta de demonstração CLI simples para ImageEmbedder com seu próprio modelo e dados de teste.
Requisitos de compatibilidade de modelo
A API ImageEmbedder
espera um modelo TFLite com metadados de modelo TFLite opcionais, mas altamente recomendados.
Os modelos de incorporador de imagens compatíveis devem atender aos seguintes requisitos:
Um tensor de imagem de entrada (kTfLiteUInt8/kTfLiteFloat32)
- entrada de imagem de tamanho
[batch x height x width x channels]
. - a inferência em lote não é suportada (
batch
deve ser 1). - apenas entradas RGB são suportadas (
channels
devem ter 3). - se o tipo for kTfLiteFloat32, NormalizationOptions deverá ser anexado aos metadados para normalização de entrada.
- entrada de imagem de tamanho
Pelo menos um tensor de saída (kTfLiteUInt8/kTfLiteFloat32)
- com
N
componentes correspondentes àsN
dimensões do vetor de recursos retornado para esta camada de saída. - 2 ou 4 dimensões, ou seja
[1 x N]
ou[1 x 1 x 1 x N]
.
- com