Tích hợp máy dò đối tượng

Trình phát hiện đối tượng có thể xác định tập hợp đối tượng nào đã biết có thể xuất hiện và cung cấp thông tin về vị trí của chúng trong hình ảnh hoặc luồng video nhất định. Một máy dò đối tượng được đào tạo để phát hiện sự hiện diện và vị trí của nhiều loại đối tượng. Ví dụ: một mô hình có thể được đào tạo với các hình ảnh chứa nhiều loại trái cây khác nhau, cùng với nhãn chỉ rõ loại trái cây mà chúng đại diện (ví dụ: táo, chuối hoặc dâu tây) và dữ liệu chỉ định vị trí mỗi đối tượng xuất hiện trong bức hình. Xem phần giới thiệu về phát hiện đối tượng để biết thêm thông tin về phát hiện đối tượng.

Sử dụng API ObjectDetector của Thư viện tác vụ để triển khai trình phát hiện đối tượng tùy chỉnh hoặc trình phát hiện đối tượng được đào tạo trước vào ứng dụng di động của bạn.

Các tính năng chính của API ObjectDetector

  • Xử lý hình ảnh đầu vào, bao gồm xoay, thay đổi kích thước và chuyển đổi không gian màu.

  • Dán nhãn địa điểm bản đồ.

  • Ngưỡng điểm để lọc kết quả.

  • Kết quả phát hiện Top-k.

  • Gắn nhãn danh sách cho phép và danh sách từ chối.

Các mô hình phát hiện đối tượng được hỗ trợ

Các mô hình sau được đảm bảo tương thích với API ObjectDetector .

Chạy suy luận trong Java

Xem ứng dụng tham khảo Phát hiện đối tượng để biết ví dụ về cách sử dụng ObjectDetector trong ứng dụng Android.

Bước 1: Nhập phần phụ thuộc Gradle và các cài đặt khác

Sao chép tệp mô hình .tflite vào thư mục nội dung của mô-đun Android nơi mô hình sẽ được chạy. Chỉ định rằng tệp sẽ không được nén và thêm thư viện TensorFlow Lite vào tệp build.gradle của mô-đun:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

Bước 2: Sử dụng mô hình

// Initialization
ObjectDetectorOptions options =
    ObjectDetectorOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
ObjectDetector objectDetector =
    ObjectDetector.createFromFileAndOptions(
        context, modelFile, options);

// Run inference
List<Detection> results = objectDetector.detect(image);

Xem mã nguồn và javadoc để có thêm tùy chọn cấu hình ObjectDetector .

Chạy suy luận trong iOS

Bước 1: Cài đặt các phụ thuộc

Thư viện tác vụ hỗ trợ cài đặt bằng CocoaPods. Đảm bảo rằng CocoaPods đã được cài đặt trên hệ thống của bạn. Vui lòng xem hướng dẫn cài đặt CocoaPods để được hướng dẫn.

Vui lòng xem hướng dẫn của CocoaPods để biết chi tiết về cách thêm nhóm vào dự án Xcode.

Thêm nhóm TensorFlowLiteTaskVision vào Podfile.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

Đảm bảo rằng mô hình .tflite bạn sẽ sử dụng để suy luận có trong gói ứng dụng của bạn.

Bước 2: Sử dụng mô hình

Nhanh

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "ssd_mobilenet_v1",
                                            ofType: "tflite") else { return }

let options = ObjectDetectorOptions(modelPath: modelPath)

// Configure any additional options:
// options.classificationOptions.maxResults = 3

let detector = try ObjectDetector.detector(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "cats_and_dogs.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let detectionResult = try detector.detect(mlImage: mlImage)

Mục tiêu C

// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"ssd_mobilenet_v1" ofType:@"tflite"];

TFLObjectDetectorOptions *options = [[TFLObjectDetectorOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.classificationOptions.maxResults = 3;

TFLObjectDetector *detector = [TFLObjectDetector objectDetectorWithOptions:options
                                                                     error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"dogs.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLDetectionResult *detectionResult = [detector detectWithGMLImage:gmlImage error:nil];

Xem mã nguồn để biết thêm tùy chọn cấu hình TFLObjectDetector .

Chạy suy luận trong Python

Bước 1: Cài đặt gói pip

pip install tflite-support

Bước 2: Sử dụng mô hình

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
detection_options = processor.DetectionOptions(max_results=2)
options = vision.ObjectDetectorOptions(base_options=base_options, detection_options=detection_options)
detector = vision.ObjectDetector.create_from_options(options)

# Alternatively, you can create an object detector in the following manner:
# detector = vision.ObjectDetector.create_from_file(model_path)

# Run inference
image = vision.TensorImage.create_from_file(image_path)
detection_result = detector.detect(image)

Xem mã nguồn để biết thêm tùy chọn cấu hình ObjectDetector .

Chạy suy luận trong C++

// Initialization
ObjectDetectorOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ObjectDetector> object_detector = ObjectDetector::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const DetectionResult result = object_detector->Detect(*frame_buffer).value();

Xem mã nguồn để biết thêm tùy chọn cấu hình ObjectDetector .

Kết quả ví dụ

Dưới đây là ví dụ về kết quả phát hiện ssd mobilenet v1 từ TensorFlow Hub.

chó

Results:
 Detection #0 (red):
  Box: (x: 355, y: 133, w: 190, h: 206)
  Top-1 class:
   index       : 17
   score       : 0.73828
   class name  : dog
 Detection #1 (green):
  Box: (x: 103, y: 15, w: 138, h: 369)
  Top-1 class:
   index       : 17
   score       : 0.73047
   class name  : dog

Hiển thị các hộp giới hạn trên hình ảnh đầu vào:

đầu ra phát hiện

Hãy dùng thử công cụ demo CLI đơn giản cho ObjectDetector với mô hình và dữ liệu thử nghiệm của riêng bạn.

Yêu cầu tương thích mô hình

API ObjectDetector yêu cầu một mô hình TFLite với Siêu dữ liệu mô hình TFLite bắt buộc. Xem ví dụ về cách tạo siêu dữ liệu cho trình phát hiện đối tượng bằng API Trình ghi siêu dữ liệu TensorFlow Lite .

Các mô hình phát hiện đối tượng tương thích phải đáp ứng các yêu cầu sau:

  • Tenxơ hình ảnh đầu vào: (kTfLiteUInt8/kTfLiteFloat32)

    • hình ảnh đầu vào có kích thước [batch x height x width x channels] .
    • suy luận hàng loạt không được hỗ trợ ( batch buộc phải là 1).
    • chỉ hỗ trợ đầu vào RGB ( channels bắt buộc phải là 3).
    • nếu loại là kTfLiteFloat32 thì bắt buộc phải đính kèm NormalizationOptions vào siêu dữ liệu để chuẩn hóa đầu vào.
  • Các tensor đầu ra phải là 4 đầu ra của hoạt động DetectionPostProcess , tức là:

    • Tenxơ vị trí (kTfLiteFloat32)
      • tensor có kích thước [1 x num_results x 4] , mảng bên trong biểu thị các hộp giới hạn có dạng [top, left, right, Bottom].
      • BoundingBoxProperties bắt buộc phải được đính kèm với siêu dữ liệu và phải chỉ định type=BOUNDARIES và `coored_type=RATIO.
    • Lớp tensor (kTfLiteFloat32)

      • tensor có kích thước [1 x num_results] , mỗi giá trị biểu thị chỉ số nguyên của một lớp.
      • (các) bản đồ nhãn tùy chọn (nhưng được khuyến nghị) có thể được đính kèm dưới dạng các AssociatedFile-s với loại TENSOR_VALUE_LABELS, chứa một nhãn trên mỗi dòng. Xem tệp nhãn mẫu . AssociatedFile đầu tiên (nếu có) được sử dụng để điền vào trường class_name của kết quả. Trường display_name được điền từ AssociatedFile (nếu có) có ngôn ngữ khớp với trường display_names_locale của ObjectDetectorOptions được sử dụng tại thời điểm tạo ("en" theo mặc định, tức là tiếng Anh). Nếu không có sẵn những thứ này thì chỉ có trường index của kết quả sẽ được điền.
    • Điểm tensor (kTfLiteFloat32)

      • tensor có kích thước [1 x num_results] , mỗi giá trị biểu thị điểm của đối tượng được phát hiện.
    • Số tensor phát hiện (kTfLiteFloat32)

      • số nguyên num_results dưới dạng tenxơ có kích thước [1] .