AudioClassifier

AudioClassifier kelas akhir publik

Melakukan klasifikasi pada bentuk gelombang audio.

API mengharapkan model TFLite dengan Metadata Model TFLite. .

API mendukung model dengan satu tensor masukan audio dan satu tensor keluaran klasifikasi. Untuk lebih spesifiknya, berikut persyaratannya.

• Tensor audio masukan ( kTfLiteFloat32 )
  • masukan buffer audio dengan ukuran [batch x samples] .
  • inferensi batch tidak didukung ( batch harus 1).
• Tensor skor keluaran ( kTfLiteFloat32 )
  • dengan N kelas 2 atau 4 dimensi, seperti [1 x N] atau [1 x 1 x 1 x N]
  • file label harus dikemas ke metadata. Lihat contoh pembuatan metadata untuk pengklasifikasi gambar . Jika tidak ada file label yang dikemas, hasilnya akan menggunakan indeks sebagai label.

Lihat contoh model tersebut, dan alat demo CLI untuk mencoba API ini dengan mudah.

Kelas Bersarang

kelas

AudioClassifier.AudioClassifierOptions

Opsi untuk menyiapkan AudioClassifier .

Metode Publik

Daftar <Klasifikasi>	mengklasifikasikan ( TensorAudio tensor) Melakukan klasifikasi aktual pada tensor audio yang disediakan.
Rekaman Audio	buatRekaman Audio () Membuat instance AudioRecord untuk merekam aliran audio.
Pengklasifikasi Audio statis	buatDariBuffer ( ByteBuffer modelBuffer) Membuat instance AudioClassifier dengan buffer model dan AudioClassifier.AudioClassifierOptions default.
Pengklasifikasi Audio statis	createFromBufferAndOptions ( opsi ByteBuffer modelBuffer, AudioClassifier.AudioClassifierOptions ) Membuat instance AudioClassifier dengan buffer model dan AudioClassifier.AudioClassifierOptions .
Pengklasifikasi Audio statis	createFromFile (Konteks konteks, String modelPath) Membuat instance AudioClassifier dari AudioClassifier.AudioClassifierOptions default.
Pengklasifikasi Audio statis	buatDariFile ( File modelFile) Membuat instance AudioClassifier dari AudioClassifier.AudioClassifierOptions default.
Pengklasifikasi Audio statis	createFromFileAndOptions (Konteks konteks, String modelPath, opsi AudioClassifier.AudioClassifierOptions ) Membuat instance AudioClassifier dari AudioClassifier.AudioClassifierOptions .
Pengklasifikasi Audio statis	createFromFileAndOptions ( Opsi file modelFile, AudioClassifier.AudioClassifierOptions ) Membuat instance AudioClassifier .
TensorAudio	buatInputTensorAudio () Membuat instance TensorAudio untuk menyimpan sampel audio input.
panjang	getRequiredInputBufferSize () Mengembalikan ukuran buffer input yang diperlukan dalam jumlah elemen float.
TensorAudio.TensorAudioFormat	getRequiredTensorAudioFormat () Mengembalikan TensorAudio.TensorAudioFormat yang diperlukan oleh model.

Metode Warisan

Dari kelas org.tensorflow.lite.task.core.BaseTaskApi

kekosongan yang disinkronkan	menutup () Lepaskan memori yang dialokasikan dari C++ dan batalkan pendaftaran perpustakaan dari dudukan statis.
panjang	dapatkanNativeHandle ()
boolean	ditutup ()

Dari kelas java.lang.Object

boolean	sama dengan ( Objek arg0)
Kelas terakhir <?>	dapatkan Kelas ()
ke dalam	Kode hash ()
kekosongan terakhir	memberitahu ()
kekosongan terakhir	beri tahuSemua ()
Rangkaian	keString ()
kekosongan terakhir	tunggu (arg0 panjang, int arg1)
kekosongan terakhir	tunggu (argumen panjang0)
kekosongan terakhir	Tunggu ()

Dari antarmuka java.io.Closeable

kekosongan abstrak

menutup ()

Dari antarmuka java.lang.AutoCloseable

kekosongan abstrak

menutup ()

Metode Publik

Daftar publik <Klasifikasi> mengklasifikasikan ( TensorAudio tensor)

Melakukan klasifikasi aktual pada tensor audio yang disediakan.

Parameter

tensor	TensorAudio berisi klip audio masukan dalam float dengan nilai antara [-1, 1). Argumen tensor harus memiliki ukuran datar yang sama dengan tensor masukan model TFLite. Disarankan untuk membuat tensor menggunakan metode createInputTensorAudio .

Melempar

Pengecualian Argumen Ilegal	jika suatu argumen tidak valid
IlegalStateException	jika terjadi kesalahan saat mengklasifikasikan klip audio dari kode asli

Rekaman Audio publik buatAudioRecord ()

Membuat instance AudioRecord untuk merekam aliran audio. Instans AudioRecord yang dikembalikan diinisialisasi dan klien perlu memanggil metode AudioRecord.startRecordingnull untuk mulai merekam.

Kembali

• contoh AudioRecord di AudioRecord.STATE_INITIALIZED

Melempar

Pengecualian Argumen Ilegal	jika jumlah saluran yang diperlukan model tidak didukung
IlegalStateException	jika instance AudioRecord gagal diinisialisasi

AudioClassifier statis publik createFromBuffer ( ByteBuffer modelBuffer)

Membuat instance AudioClassifier dengan buffer model dan AudioClassifier.AudioClassifierOptions default.

Parameter

modelBuffer	ByteBuffer langsung atau MappedByteBuffer dari model klasifikasi

Melempar

IlegalStateException	jika ada kesalahan internal
Pengecualian Waktu Proses	jika ada kesalahan yang tidak ditentukan
Pengecualian Argumen Ilegal	jika buffer model bukan ByteBuffer langsung atau MappedByteBuffer

AudioClassifier statis publik createFromBufferAndOptions ( opsi ByteBuffer modelBuffer, AudioClassifier.AudioClassifierOptions )

Membuat instance AudioClassifier dengan buffer model dan AudioClassifier.AudioClassifierOptions .

Parameter

modelBuffer	ByteBuffer langsung atau MappedByteBuffer dari model klasifikasi
pilihan

Melempar

IlegalStateException	jika ada kesalahan internal
Pengecualian Waktu Proses	jika ada kesalahan yang tidak ditentukan
Pengecualian Argumen Ilegal	jika buffer model bukan ByteBuffer langsung atau MappedByteBuffer

AudioClassifier statis publik createFromFile (Konteks konteks, String modelPath)

Membuat instance AudioClassifier dari AudioClassifier.AudioClassifierOptions default.

Parameter

konteks
modelPath	jalur model klasifikasi dengan metadata di aset

Melempar

Pengecualian IO	jika terjadi kesalahan I/O saat memuat model tflite
Pengecualian Argumen Ilegal	jika suatu argumen tidak valid
IlegalStateException	jika ada kesalahan internal
Pengecualian Waktu Proses	jika ada kesalahan yang tidak ditentukan

AudioClassifier statis publik createFromFile ( File modelFile)

Membuat instance AudioClassifier dari AudioClassifier.AudioClassifierOptions default.

Parameter

file model	contoh File model klasifikasi

Melempar

Pengecualian IO	jika terjadi kesalahan I/O saat memuat model tflite
Pengecualian Argumen Ilegal	jika suatu argumen tidak valid
IlegalStateException	jika ada kesalahan internal
Pengecualian Waktu Proses	jika ada kesalahan yang tidak ditentukan

AudioClassifier statis publik createFromFileAndOptions (Konteks konteks, String modelPath, opsi AudioClassifier.AudioClassifierOptions )

Membuat instance AudioClassifier dari AudioClassifier.AudioClassifierOptions .

Parameter

konteks
modelPath	jalur model klasifikasi dengan metadata di aset
pilihan

Melempar

Pengecualian IO	jika terjadi kesalahan I/O saat memuat model tflite
Pengecualian Argumen Ilegal	jika suatu argumen tidak valid
IlegalStateException	jika ada kesalahan internal
Pengecualian Waktu Proses	jika ada kesalahan yang tidak ditentukan

AudioClassifier statis publik createFromFileAndOptions ( Opsi file modelFile, AudioClassifier.AudioClassifierOptions )

Membuat instance AudioClassifier .

Parameter

file model	contoh File model klasifikasi
pilihan

Melempar

Pengecualian IO	jika terjadi kesalahan I/O saat memuat model tflite
Pengecualian Argumen Ilegal	jika suatu argumen tidak valid
IlegalStateException	jika ada kesalahan internal
Pengecualian Waktu Proses	jika ada kesalahan yang tidak ditentukan

TensorAudio publik buatInputTensorAudio ()

Membuat instance TensorAudio untuk menyimpan sampel audio input.

Kembali

• TensorAudio dengan ukuran yang sama dengan tensor input model

Melempar

Pengecualian Argumen Ilegal	jika modelnya tidak kompatibel

get panjang publikRequiredInputBufferSize ()

Mengembalikan ukuran buffer input yang diperlukan dalam jumlah elemen float.

TensorAudio.TensorAudioFormat publik getRequiredTensorAudioFormat ()

Mengembalikan TensorAudio.TensorAudioFormat yang diperlukan oleh model.