Narzędzia do osadzania obrazów umożliwiają osadzanie obrazów w wielowymiarowym wektorze cech reprezentującym semantyczne znaczenie obrazu, który można następnie porównać z wektorem cech innych obrazów w celu oceny ich podobieństwa semantycznego.
W przeciwieństwie do wyszukiwania obrazów , moduł osadzania obrazów umożliwia obliczanie podobieństwa między obrazami na bieżąco, zamiast przeszukiwać wstępnie zdefiniowany indeks zbudowany z korpusu obrazów.
Użyj interfejsu API ImageEmbedder
biblioteki zadań, aby wdrożyć niestandardowy moduł osadzania obrazów w aplikacjach mobilnych.
Kluczowe cechy API ImageEmbedder
Przetwarzanie obrazu wejściowego, w tym obracanie, zmiana rozmiaru i konwersja przestrzeni kolorów.
Obszar zainteresowania obrazu wejściowego.
Wbudowana funkcja użyteczności do obliczania cosinusa podobieństwa między wektorami cech.
Obsługiwane modele osadzania obrazów
Gwarantujemy kompatybilność następujących modeli z interfejsem API ImageEmbedder
.
Modele wektorów obiektów z kolekcji Google Image Modules w TensorFlow Hub .
Modele niestandardowe spełniające wymagania dotyczące kompatybilności modeli .
Uruchom wnioskowanie w C++
// Initialization
ImageEmbedderOptions options:
options.mutable_model_file_with_metadata()->set_file_name(model_path);
options.set_l2_normalize(true);
std::unique_ptr<ImageEmbedder> image_embedder = ImageEmbedder::CreateFromOptions(options).value();
// Create input frame_buffer_1 and frame_buffer_2 from your inputs `image_data1`, `image_data2`, `image_dimension1` and `image_dimension2`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer_1 = CreateFromRgbRawBuffer(
image_data1, image_dimension1);
std::unique_ptr<FrameBuffer> frame_buffer_2 = CreateFromRgbRawBuffer(
image_data2, image_dimension2);
// Run inference on two images.
const EmbeddingResult result_1 = image_embedder->Embed(*frame_buffer_1);
const EmbeddingResult result_2 = image_embedder->Embed(*frame_buffer_2);
// Compute cosine similarity.
double similarity = ImageEmbedder::CosineSimilarity(
result_1.embeddings[0].feature_vector(),
result_2.embeddings[0].feature_vector());
Zobacz kod źródłowy , aby uzyskać więcej opcji konfiguracji ImageEmbedder
.
Uruchom wnioskowanie w Pythonie
Krok 1: Zainstaluj pakiet Pypi obsługujący TensorFlow Lite.
Możesz zainstalować pakiet TensorFlow Lite Support Pypi za pomocą następującego polecenia:
pip install tflite-support
Krok 2: Korzystanie z modelu
from tflite_support.task import vision
# Initialization.
image_embedder = vision.ImageEmbedder.create_from_file(model_path)
# Run inference on two images.
image_1 = vision.TensorImage.create_from_file('/path/to/image1.jpg')
result_1 = image_embedder.embed(image_1)
image_2 = vision.TensorImage.create_from_file('/path/to/image2.jpg')
result_2 = image_embedder.embed(image_2)
# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = image_embedder.cosine_similarity(
result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)
Zobacz kod źródłowy , aby uzyskać więcej opcji konfiguracji ImageEmbedder
.
Przykładowe wyniki
Podobieństwo cosinusowe między znormalizowanymi wektorami cech zwraca wynik od -1 do 1. Im wyższy, tym lepszy, tj. podobieństwo cosinusowe wynoszące 1 oznacza, że oba wektory są identyczne.
Cosine similarity: 0.954312
Wypróbuj proste narzędzie demonstracyjne CLI dla ImageEmbedder z własnym modelem i danymi testowymi.
Wymagania dotyczące kompatybilności modelu
Interfejs API ImageEmbedder
oczekuje modelu TFLite z opcjonalnymi, ale zdecydowanie zalecanymi metadanymi modelu TFLite .
Zgodne modele osadzania obrazów powinny spełniać następujące wymagania:
Tensor obrazu wejściowego (kTfLiteUInt8/kTfLiteFloat32)
- wprowadzanie obrazu o rozmiarze
[batch x height x width x channels]
. - wnioskowanie wsadowe nie jest obsługiwane (wymagana jest
batch
1). - obsługiwane są tylko wejścia RGB (wymagane są 3
channels
). - jeśli typ to kTfLiteFloat32, do metadanych należy dołączyć opcje NormalizationOptions w celu normalizacji danych wejściowych.
- wprowadzanie obrazu o rozmiarze
Co najmniej jeden tensor wyjściowy (kTfLiteUInt8/kTfLiteFloat32)
- z
N
składnikami odpowiadającymiN
wymiarom zwróconego wektora cech dla tej warstwy wyjściowej. - Albo 2, albo 4 wymiary, tj.
[1 x N]
lub[1 x 1 x 1 x N]
.
- z