Interpreter

Penerjemah kelas akhir publik

Kelas driver untuk mendorong inferensi model dengan TensorFlow Lite.

Catatan: Jika Anda tidak memerlukan akses ke salah satu fitur API "eksperimental" di bawah, pilih untuk menggunakan InterpreterApi dan InterpreterFactory daripada menggunakan Interpreter secara langsung.

Interpreter mengenkapsulasi model TensorFlow Lite terlatih, tempat operasi dijalankan untuk inferensi model.

Misalnya, jika model hanya mengambil satu masukan dan hanya mengembalikan satu keluaran:

try (Interpreter interpreter = new Interpreter(file_of_a_tensorflowlite_model)) {
   interpreter.run(input, output);
 }
 

Jika model mengambil beberapa input atau output:

Object[] inputs = {input0, input1, ...};
 Map<Integer, Object> map_of_indices_to_outputs = new HashMap<>();
 FloatBuffer ith_output = FloatBuffer.allocateDirect(3 * 2 * 4);  // Float tensor, shape 3x2x4.
 ith_output.order(ByteOrder.nativeOrder());
 map_of_indices_to_outputs.put(i, ith_output);
 try (Interpreter interpreter = new Interpreter(file_of_a_tensorflowlite_model)) {
   interpreter.runForMultipleInputsOutputs(inputs, map_of_indices_to_outputs);
 }
 

Jika model mengambil atau menghasilkan tensor string:

String[] input = {"foo", "bar"};  // Input tensor shape is [2].
 String[][] output = new String[3][2];  // Output tensor shape is [3, 2].
 try (Interpreter interpreter = new Interpreter(file_of_a_tensorflowlite_model)) {
   interpreter.runForMultipleInputsOutputs(input, output);
 }
 

Perhatikan bahwa ada perbedaan antara bentuk [] dan bentuk[1]. Untuk output tensor string skalar:

String[] input = {"foo"};  // Input tensor shape is [1].
 ByteBuffer outputBuffer = ByteBuffer.allocate(OUTPUT_BYTES_SIZE);  // Output tensor shape is [].
 try (Interpreter interpreter = new Interpreter(file_of_a_tensorflowlite_model)) {
   interpreter.runForMultipleInputsOutputs(input, outputBuffer);
 }
 byte[] outputBytes = new byte[outputBuffer.remaining()];
 outputBuffer.get(outputBytes);
 // Below, the `charset` can be StandardCharsets.UTF_8.
 String output = new String(outputBytes, charset);
 

Urutan input dan output ditentukan saat mengonversi model TensorFlow ke model TensorFlowLite dengan Toco, seperti bentuk input default.

Ketika input diberikan sebagai array (multi-dimensi), tensor input yang sesuai akan secara implisit diubah ukurannya sesuai dengan bentuk array tersebut. Saat input diberikan sebagai tipe Buffer , tidak ada pengubahan ukuran implisit yang dilakukan; pemanggil harus memastikan bahwa ukuran byte Buffer cocok dengan ukuran tensor yang sesuai, atau mereka terlebih dahulu mengubah ukuran tensor melalui resizeInput(int, int[]) . Informasi bentuk dan jenis tensor dapat diperoleh melalui kelas Tensor , tersedia melalui getInputTensor(int) dan getOutputTensor(int) .

PERINGATAN: Instance Interpreter tidak aman untuk thread. Seorang Interpreter memiliki sumber daya yang harus dibebaskan secara eksplisit dengan mengaktifkan close()

Pustaka TFLite dibangun dengan NDK API 19. Ini mungkin berfungsi untuk Android API level di bawah 19, tetapi tidak dijamin.

Kelas Bersarang

kelas

Interpreter.Options

Kelas opsi untuk mengontrol perilaku juru runtime.

Konstruktor Publik

	Penerjemah ( File modelFile) Menginisialisasi Interpreter .
	Interpreter ( Opsi File modelFile, Interpreter.Options ) Menginisialisasi Interpreter dan menentukan opsi untuk menyesuaikan perilaku interpreter.
	Penerjemah ( ByteBuffer byteBuffer) Menginisialisasi Interpreter dengan ByteBuffer dari file model.
	Interpreter ( opsi ByteBuffer byteBuffer, Interpreter.Options ) Menginisialisasi Interpreter dengan ByteBuffer dari file model dan sekumpulan Interpreter.Options kustom.

Metode Publik

ruang kosong	mengalokasikanTensor () Memperbarui alokasi secara eksplisit untuk semua tensor, jika perlu.
ruang kosong	tutup () Lepaskan sumber daya yang terkait dengan instance InterpreterApi .
int	getInputIndex ( String opName) Mendapat indeks input diberi nama op dari input.
Tensor	getInputTensor (int inputIndex) Mendapatkan Tensor yang terkait dengan indeks input yang diberikan.
int	getInputTensorCount () Mendapatkan jumlah tensor input.
Tensor	getInputTensorFromSignature ( String inputName, String signatureKey) Mendapatkan Tensor yang terkait dengan nama input dan nama metode tanda tangan yang diberikan.
Panjang	getLastNativeInferenceDurationNanoseconds () Mengembalikan waktu inferensi asli.
int	getOutputIndex ( String opName) Mendapat indeks dari output yang diberi nama op dari output.
Tensor	getOutputTensor (int outputIndex) Mendapatkan Tensor yang terkait dengan indeks keluaran yang disediakan.
int	getOutputTensorCount () Mendapatkan jumlah Tensor keluaran.
Tensor	getOutputTensorFromSignature ( String outputName, String signatureKey) Mendapatkan Tensor yang terkait dengan nama keluaran yang diberikan dalam metode tanda tangan tertentu.
Rangkaian[]	getSignatureInputs ( String signatureKey) Mendapatkan daftar input SignatureDefs untuk metode signatureKey .
Rangkaian[]	dapatkanSignatureKeys () Mendapatkan daftar nama metode yang diekspor SignatureDef yang tersedia dalam model.
Rangkaian[]	getSignatureOutputs ( String signatureKey) Mendapatkan daftar keluaran SignatureDefs untuk metode signatureKey .
ruang kosong	resetVariableTensors () Lanjutan: Mereset semua tensor variabel ke nilai default.
ruang kosong	resizeInput (int idx, int[] redup, boolean ketat) Mengubah ukuran masukan idx-th dari model asli ke peredupan yang diberikan.
ruang kosong	resizeInput (int idx, int[] redup) Mengubah ukuran masukan idx-th dari model asli ke peredupan yang diberikan.
ruang kosong	jalankan (Masukan objek , Keluaran objek ) Menjalankan inferensi model jika model hanya mengambil satu input, dan hanya menyediakan satu output.
ruang kosong	runForMultipleInputsOutputs ( input Object[] , Map < Integer , Object > output) Menjalankan inferensi model jika model mengambil banyak masukan, atau mengembalikan banyak keluaran.
ruang kosong	runSignature ( Map < String , Object > inputs, Map < String , Object > outputs) Sama seperti runSignature(Map, Map, String) tetapi tidak memerlukan pemberian signatureKey, dengan asumsi model memiliki satu SignatureDef.
ruang kosong	runSignature ( Map < String , Object > input, Map < String , Object > output, String signatureKey) Menjalankan inferensi model berdasarkan SignatureDef yang disediakan melalui signatureKey .
ruang kosong	setCancelled (boolean dibatalkan) Lanjutan: Menginterupsi inferensi di tengah panggilan ke run(Object, Object) .

Metode Warisan

Dari kelas java.lang.Object

boolean	sama dengan ( Objek arg0)
Kelas akhir <?>	dapatkanKelas ()
int	kode hash ()
kekosongan terakhir	beri tahu ()
kekosongan terakhir	beri tahu Semua ()
Rangkaian	keString ()
kekosongan terakhir	tunggu (panjang arg0, int arg1)
kekosongan terakhir	tunggu (panjang arg0)
kekosongan terakhir	tunggu ()

Dari antarmuka org.tensorflow.lite.InterpreterApi

kekosongan abstrak	mengalokasikanTensor () Memperbarui alokasi secara eksplisit untuk semua tensor, jika perlu.
kekosongan abstrak	tutup () Lepaskan sumber daya yang terkait dengan instance InterpreterApi .
statis InterpreterApi	buat ( File modelFile, opsi InterpreterApi.Options ) Membuat instance InterpreterApi , menggunakan model dan opsi yang ditentukan.
statis InterpreterApi	buat ( opsi ByteBuffer byteBuffer, InterpreterApi.Options ) Membuat instance InterpreterApi , menggunakan model dan opsi yang ditentukan.
int abstrak	getInputIndex ( String opName) Mendapat indeks input diberi nama op dari input.
Tensor abstrak	getInputTensor (int inputIndex) Mendapatkan Tensor yang terkait dengan indeks input yang disediakan.
int abstrak	getInputTensorCount () Mendapatkan jumlah tensor input.
abstrak Panjang	getLastNativeInferenceDurationNanoseconds () Mengembalikan waktu inferensi asli.
int abstrak	getOutputIndex ( String opName) Mendapat indeks dari output yang diberi nama op dari output.
Tensor abstrak	getOutputTensor (int outputIndex) Mendapatkan Tensor yang terkait dengan indeks keluaran yang disediakan.
int abstrak	getOutputTensorCount () Mendapatkan jumlah Tensor keluaran.
kekosongan abstrak	resizeInput (int idx, int[] redup, boolean ketat) Mengubah ukuran masukan idx-th dari model asli ke peredupan yang diberikan.
kekosongan abstrak	resizeInput (int idx, int[] redup) Mengubah ukuran masukan idx-th dari model asli ke peredupan yang diberikan.
kekosongan abstrak	jalankan (Masukan objek , Keluaran objek ) Menjalankan inferensi model jika model hanya mengambil satu input, dan hanya menyediakan satu output.
kekosongan abstrak	runForMultipleInputsOutputs ( input Object[] , Map < Integer , Object > output) Menjalankan inferensi model jika model mengambil banyak masukan, atau mengembalikan banyak keluaran.

Dari antarmuka java.lang.AutoCloseable

kekosongan abstrak

tutup ()

Konstruktor Publik

Penerjemah publik ( File modelFile)

Menginisialisasi Interpreter .

Parameter

modelFile	File model TF Lite pra-pelatihan.

Melempar

IllegalArgumentException	jika modelFile tidak menyandikan model TensorFlow Lite yang valid.

Public Interpreter ( File modelFile, opsi Interpreter.Options )

Menginisialisasi Interpreter dan menentukan opsi untuk menyesuaikan perilaku interpreter.

Parameter

modelFile	file model TF Lite terlatih
pilihan	satu set opsi untuk menyesuaikan perilaku juru bahasa

Melempar

IllegalArgumentException	jika modelFile tidak menyandikan model TensorFlow Lite yang valid.

Penerjemah publik ( ByteBuffer byteBuffer)

Menginisialisasi Interpreter dengan ByteBuffer dari file model.

ByteBuffer tidak boleh dimodifikasi setelah pembuatan Interpreter . ByteBuffer dapat berupa MappedByteBuffer yang memetakan memori file model, atau ByteBuffer langsung dari nativeOrder() yang berisi konten byte dari sebuah model.

Parameter

byteBuffer

Melempar

IllegalArgumentException	jika byteBuffer bukan MappedByteBuffer atau ByteBuffer langsung dari nativeOrder.

Penerjemah publik ( opsi ByteBuffer byteBuffer, Interpreter.Options )

Menginisialisasi Interpreter dengan ByteBuffer dari file model dan sekumpulan Interpreter.Options kustom.

ByteBuffer tidak boleh dimodifikasi setelah pembuatan Interpreter . ByteBuffer dapat berupa MappedByteBuffer yang memetakan memori file model, atau ByteBuffer langsung dari nativeOrder() yang berisi konten byte dari sebuah model.

Parameter

byteBuffer
pilihan

Melempar

IllegalArgumentException	jika byteBuffer bukan MappedByteBuffer atau ByteBuffer langsung dari nativeOrder.

Metode Publik

public void mengalokasikanTensor ()

Memperbarui alokasi secara eksplisit untuk semua tensor, jika perlu.

Ini akan menyebarkan bentuk dan alokasi memori untuk tensor dependen menggunakan bentuk tensor input seperti yang diberikan.

Catatan: Panggilan ini *murni opsional*. Alokasi tensor akan terjadi secara otomatis selama eksekusi jika ada tensor input yang ukurannya diubah. Panggilan ini paling berguna dalam menentukan bentuk untuk setiap tensor keluaran sebelum mengeksekusi grafik, misalnya,

 interpreter.resizeInput(0, new int[]{1, 4, 4, 3}));
 interpreter.allocateTensors();
 FloatBuffer input = FloatBuffer.allocate(interpreter.getInputTensor(0).numElements());
 // Populate inputs...
 FloatBuffer output = FloatBuffer.allocate(interpreter.getOutputTensor(0).numElements());
 interpreter.run(input, output)
 // Process outputs...

Catatan: Beberapa grafik memiliki keluaran berbentuk dinamis, dalam hal ini bentuk keluaran mungkin tidak sepenuhnya menyebar hingga inferensi dieksekusi.

tutup kekosongan publik ()

Lepaskan sumber daya yang terkait dengan instance InterpreterApi .

public int getInputIndex ( String opName)

Mendapat indeks input diberi nama op dari input.

Parameter

opName

getInputTensor Tensor publik (int inputIndex)

Mendapatkan Tensor yang terkait dengan indeks input yang disediakan.

Parameter

indeks masukan

publik int getInputTensorCount ()

Mendapatkan jumlah tensor input.

public Tensor getInputTensorFromSignature ( String inputName, String signatureKey)

Mendapatkan Tensor yang terkait dengan nama input dan nama metode tanda tangan yang diberikan.

PERINGATAN: Ini adalah API eksperimental dan dapat berubah.

Parameter

namamasukan	Masukkan nama dalam tanda tangan.
signatureKey	Kunci tanda tangan yang mengidentifikasi SignatureDef, bisa nol jika model memiliki satu tanda tangan.

Melempar

IllegalArgumentException	jika inputName atau signatureKey adalah null atau kosong, atau nama yang diberikan tidak valid.

publik Long getLastNativeInferenceDurationNanoseconds ()

Mengembalikan waktu inferensi asli.

public int getOutputIndex ( String opName)

Mendapat indeks dari output yang diberi nama op dari output.

Parameter

opName

getOutputTensor Tensor publik (int outputIndex)

Mendapatkan Tensor yang terkait dengan indeks keluaran yang disediakan.

Catatan: Detail tensor keluaran (mis., bentuk) mungkin tidak terisi penuh hingga setelah inferensi dieksekusi. Jika Anda memerlukan perincian yang diperbarui *sebelum* menjalankan inferensi (mis., setelah mengubah ukuran tensor masukan, yang dapat membuat bentuk tensor keluaran tidak valid), gunakan allocateTensors() untuk secara eksplisit memicu alokasi dan propagasi bentuk. Perhatikan bahwa, untuk grafik dengan bentuk keluaran yang bergantung pada *nilai* masukan, bentuk keluaran mungkin tidak sepenuhnya ditentukan hingga menjalankan inferensi.

Parameter

Indeks keluaran

getOutputTensorCount int publik ()

Mendapatkan jumlah Tensor keluaran.

Tensor publik getOutputTensorFromSignature ( String outputName, String signatureKey)

Mendapatkan Tensor yang terkait dengan nama keluaran yang diberikan dalam metode tanda tangan tertentu.

Catatan: Detail tensor keluaran (mis., bentuk) mungkin tidak terisi penuh hingga setelah inferensi dieksekusi. Jika Anda memerlukan perincian yang diperbarui *sebelum* menjalankan inferensi (mis., setelah mengubah ukuran tensor masukan, yang dapat membuat bentuk tensor keluaran tidak valid), gunakan allocateTensors() untuk secara eksplisit memicu alokasi dan propagasi bentuk. Perhatikan bahwa, untuk grafik dengan bentuk keluaran yang bergantung pada *nilai* masukan, bentuk keluaran mungkin tidak sepenuhnya ditentukan hingga menjalankan inferensi.

PERINGATAN: Ini adalah API eksperimental dan dapat berubah.

Parameter

namakeluaran	Nama keluaran di tanda tangan.
signatureKey	Kunci tanda tangan yang mengidentifikasi SignatureDef, bisa nol jika model memiliki satu tanda tangan.

Melempar

IllegalArgumentException	jika outputName atau signatureKey adalah null atau kosong, atau nama yang diberikan tidak valid.

String publik[] getSignatureInputs ( String signatureKey)

Mendapatkan daftar input SignatureDefs untuk metode signatureKey .

PERINGATAN: Ini adalah API eksperimental dan dapat berubah.

Parameter

signatureKey

String publik[] getSignatureKeys ()

Mendapatkan daftar nama metode yang diekspor SignatureDef yang tersedia dalam model.

PERINGATAN: Ini adalah API eksperimental dan dapat berubah.

String publik[] getSignatureOutputs ( String signatureKey)

Mendapatkan daftar keluaran SignatureDefs untuk metode signatureKey .

PERINGATAN: Ini adalah API eksperimental dan dapat berubah.

Parameter

signatureKey

public void resetVariableTensors ()

Lanjutan: Mereset semua tensor variabel ke nilai default.

Jika tensor variabel tidak memiliki buffer terkait, tensor tersebut akan disetel ulang ke nol.

PERINGATAN: Ini adalah API eksperimental dan dapat berubah.

public void resizeInput (int idx, int[] redup, boolean ketat)

Mengubah ukuran masukan idx-th dari model asli ke peredupan yang diberikan.

Ketika `strict` bernilai True, hanya dimensi yang tidak diketahui yang dapat diubah ukurannya. Dimensi yang tidak diketahui ditunjukkan sebagai `-1` dalam larik yang dikembalikan oleh `Tensor.shapeSignature()`.

Parameter

idx
redup
ketat

public void resizeInput (int idx, int[] redup)

Mengubah ukuran masukan idx-th dari model asli ke peredupan yang diberikan.

Parameter

idx
redup

public void run (Masukan objek , Keluaran objek )

Menjalankan inferensi model jika model hanya mengambil satu input, dan hanya menyediakan satu output.

Peringatan: API lebih efisien jika Buffer (sebaiknya langsung, tetapi tidak wajib) digunakan sebagai tipe data input/output. Harap pertimbangkan untuk menggunakan Buffer untuk memberi makan dan mengambil data primitif untuk kinerja yang lebih baik. Jenis Buffer beton berikut ini didukung:

• ByteBuffer - kompatibel dengan semua tipe Tensor primitif yang mendasarinya.
• FloatBuffer - kompatibel dengan Tensor float.
• IntBuffer - kompatibel dengan Tensor int32.
• LongBuffer - kompatibel dengan Tensor int64.

Perhatikan bahwa tipe boolean hanya didukung sebagai array, bukan Buffer s, atau sebagai input skalar.

Parameter

memasukkan

array atau array multidimensi, atau Buffer tipe primitif termasuk int, float, long, dan byte. Buffer adalah cara yang lebih disukai untuk meneruskan data input besar untuk tipe primitif, sedangkan tipe string memerlukan penggunaan jalur input array (multidimensi). Saat Buffer digunakan, kontennya harus tetap tidak berubah hingga inferensi model selesai, dan pemanggil harus memastikan bahwa Buffer berada pada posisi baca yang sesuai. Nilai null hanya diperbolehkan jika pemanggil menggunakan Delegate yang memungkinkan buffer handle interop, dan buffer tersebut telah terikat ke input Tensor .

keluaran

array multidimensi data keluaran, atau Buffer tipe primitif termasuk int, float, long, dan byte. Saat Buffer digunakan, pemanggil harus memastikan bahwa buffer telah diatur ke posisi tulis yang sesuai. Nilai null diperbolehkan, dan berguna untuk kasus tertentu, misalnya, jika pemanggil menggunakan Delegate yang memungkinkan buffer menangani interop, dan buffer tersebut telah terikat ke output Tensor (lihat juga Interpreter.Options#setAllowBufferHandleOutput(boolean) ), atau jika grafik memiliki keluaran berbentuk dinamis dan pemanggil harus mengkueri bentuk Tensor keluaran setelah inferensi dipanggil, mengambil data langsung dari tensor keluaran (melalui Tensor.asReadOnlyBuffer() ).

public void runForMultipleInputsOutputs ( input Object[] , Map < Integer , Object > output)

Menjalankan inferensi model jika model mengambil banyak masukan, atau mengembalikan banyak keluaran.

Peringatan: API lebih efisien jika Buffer s (sebaiknya langsung, tetapi tidak wajib) digunakan sebagai tipe data input/output. Harap pertimbangkan untuk menggunakan Buffer untuk memberi makan dan mengambil data primitif untuk kinerja yang lebih baik. Jenis Buffer beton berikut ini didukung:

• ByteBuffer - kompatibel dengan semua tipe Tensor primitif yang mendasarinya.
• FloatBuffer - kompatibel dengan Tensor float.
• IntBuffer - kompatibel dengan Tensor int32.
• LongBuffer - kompatibel dengan Tensor int64.

Perhatikan bahwa tipe boolean hanya didukung sebagai array, bukan Buffer s, atau sebagai input skalar.

Catatan: nilai null untuk elemen inputs dan outputs invididual hanya diperbolehkan jika pemanggil menggunakan Delegate yang memungkinkan buffer menangani interop, dan buffer tersebut telah terikat ke Tensor input atau output yang sesuai.

Parameter

input

array data masukan. Input harus dalam urutan yang sama dengan input model. Setiap input dapat berupa array atau array multidimensi, atau Buffer tipe primitif termasuk int, float, long, dan byte. Buffer adalah cara yang lebih disukai untuk meneruskan data input yang besar, sedangkan tipe string memerlukan penggunaan jalur input array (multidimensi). Saat Buffer digunakan, kontennya harus tetap tidak berubah hingga inferensi model selesai, dan pemanggil harus memastikan bahwa Buffer berada pada posisi baca yang sesuai.

output

indeks output pemetaan peta ke array multidimensi dari data output atau Buffer s dari tipe primitif termasuk int, float, long, dan byte. Itu hanya perlu menyimpan entri untuk output yang akan digunakan. Saat Buffer digunakan, pemanggil harus memastikan bahwa buffer telah diatur ke posisi tulis yang sesuai. Peta mungkin kosong untuk kasus di mana pegangan buffer digunakan untuk data tensor output, atau kasus di mana output berbentuk dinamis dan pemanggil harus mengkueri bentuk Tensor output setelah inferensi dipanggil, mengambil data langsung dari tensor output ( melalui Tensor.asReadOnlyBuffer() ).

public void runSignature ( Map < String , Object > inputs, Map < String , Object > outputs)

Sama seperti runSignature(Map, Map, String) tetapi tidak memerlukan pemberian signatureKey, dengan asumsi model memiliki satu SignatureDef. Jika model memiliki lebih dari satu SignatureDef, itu akan memunculkan pengecualian.

PERINGATAN: Ini adalah API eksperimental dan dapat berubah.

Parameter

input
output

public void runSignature ( Map < String , Object > inputs, Map < String , Object > outputs, String signatureKey)

Menjalankan inferensi model berdasarkan SignatureDef yang disediakan melalui signatureKey .

Lihat run(Object, Object) untuk detail lebih lanjut tentang tipe data input dan output yang diizinkan.

PERINGATAN: Ini adalah API eksperimental dan dapat berubah.

Parameter

input	Peta dari nama input di SignatureDef ke objek input.
output	Peta dari nama keluaran di SignatureDef ke data keluaran. Ini mungkin kosong jika pemanggil ingin mengkueri data Tensor secara langsung setelah inferensi (misalnya, jika bentuk output dinamis, atau pegangan buffer output digunakan).
signatureKey	Kunci tanda tangan yang mengidentifikasi SignatureDef.

Melempar

IllegalArgumentException	jika inputs adalah null atau kosong, jika outputs atau signatureKey adalah null, atau jika terjadi kesalahan saat menjalankan inferensi.

public void setCancelled (boolean dibatalkan)

Lanjutan: Menginterupsi inferensi di tengah panggilan ke run(Object, Object) .

Bendera pembatalan akan disetel ke true saat fungsi ini dipanggil. Penerjemah akan memeriksa bendera di antara pemanggilan Op, dan jika itu true , penafsir akan menghentikan eksekusi. Interpreter akan tetap berstatus canceled sampai secara eksplisit "uncancelled" oleh setCancelled(false) .

PERINGATAN: Ini adalah API eksperimental dan dapat berubah.

Parameter

dibatalkan	true untuk membatalkan inferensi dengan cara terbaik; false untuk melanjutkan.

Melempar

IllegalStateException	jika juru bahasa tidak diinisialisasi dengan opsi yang dapat dibatalkan, yang secara default mati.

Lihat juga

• Interpreter.Options.setCancellable(boolean)