ดำเนินการจำแนกตามรูปคลื่นเสียง
API คาดว่าจะมีโมเดล TFLite พร้อมด้วย ข้อมูลเมตาของโมเดล TFLite .
API รองรับโมเดลที่มีเทนเซอร์อินพุตเสียงหนึ่งตัวและเทนเซอร์เอาท์พุตการจำแนกประเภทหนึ่งตัว เพื่อให้เจาะจงยิ่งขึ้น นี่คือข้อกำหนด
- อินพุตเสียงเทนเซอร์ (
kTfLiteFloat32
)- บัฟเฟอร์เสียงอินพุตขนาด
[batch x samples]
- ไม่รองรับการอนุมานแบบแบตช์ (
batch
ต้องเป็น 1)
- บัฟเฟอร์เสียงอินพุตขนาด
kTfLiteFloat32
)- มีคลาส
N
2 หรือ 4 มิติ เช่น[1 x N]
หรือ[1 x 1 x 1 x N]
- จำเป็นต้องบรรจุไฟล์ป้ายกำกับลงในข้อมูลเมตา ดู ตัวอย่างการสร้างข้อมูลเมตาสำหรับตัวแยกประเภทรูปภาพ หากไม่มีการบรรจุไฟล์ป้ายกำกับ ระบบจะใช้ดัชนีเป็นป้ายกำกับในผลลัพธ์
คลาสที่ซ้อนกัน
ระดับ | AudioClassifier.AudioClassifierตัวเลือก | ตัวเลือกสำหรับการตั้งค่า AudioClassifier |
วิธีการสาธารณะ
วิธีการสืบทอด
วิธีการสาธารณะ
รายการ สาธารณะ < การจำแนกประเภท > จำแนก ( TensorAudio เทนเซอร์)
ดำเนินการจำแนกตามจริงบนเทนเซอร์เสียงที่ให้มา
พารามิเตอร์
เทนเซอร์ | TensorAudio ที่มีคลิปเสียงอินพุตเป็นแบบลอยที่มีค่าระหว่าง [-1, 1) อาร์กิวเมนต์ tensor ควรมีขนาดเท่ากันกับเทนเซอร์อินพุตของโมเดล TFLite ขอแนะนำให้สร้าง tensor โดยใช้เมธอด createInputTensorAudio |
---|
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้าอาร์กิวเมนต์ไม่ถูกต้อง |
---|---|
IllegalStateException | หากเกิดข้อผิดพลาดเมื่อจำแนกคลิปเสียงจากโค้ดเนทีฟ |
AudioRecord สาธารณะ createAudioRecord ()
สร้าง AudioRecord
แตนซ์ AudioRecord เพื่อบันทึกสตรีมเสียง อินสแตนซ์ AudioRecord ที่ส่งคืนได้รับการเตรียมใช้งานแล้ว และไคลเอ็นต์จำเป็นต้องเรียกใช้เมธอด AudioRecord.startRecordingnull
เพื่อเริ่มการบันทึก
การส่งคืน
- อินสแตนซ์
AudioRecord
ในAudioRecord.STATE_INITIALIZED
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | หากไม่รองรับจำนวนช่องตามรุ่นที่ต้องการ |
---|---|
IllegalStateException | หากอินสแตนซ์ AudioRecord ไม่สามารถเริ่มต้นได้ |
AudioClassifier สาธารณะคงที่ createFromBuffer ( ByteBuffer modelBuffer)
สร้างอินสแตนซ์ AudioClassifier
ด้วยบัฟเฟอร์โมเดลและ AudioClassifier.AudioClassifierOptions
เริ่มต้น
พารามิเตอร์
modelBuffer | ByteBuffer โดยตรงหรือ MappedByteBuffer ของโมเดลการจัดหมวดหมู่ |
---|
ขว้าง
IllegalStateException | หากมีข้อผิดพลาดภายใน |
---|---|
RuntimeException | หากมีข้อผิดพลาดที่ไม่ได้ระบุเป็นอย่างอื่น |
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | หากบัฟเฟอร์โมเดลไม่ใช่ ByteBuffer โดยตรงหรือ MappedByteBuffer |
AudioClassifier แบบคงที่สาธารณะ createFromBufferAndOptions (ตัวเลือก ByteBuffer modelBuffer, AudioClassifier.AudioClassifierOptions )
สร้างอินสแตนซ์ AudioClassifier
ด้วยบัฟเฟอร์โมเดลและ AudioClassifier.AudioClassifierOptions
พารามิเตอร์
modelBuffer | ByteBuffer โดยตรงหรือ MappedByteBuffer ของโมเดลการจัดหมวดหมู่ |
---|---|
ตัวเลือก |
ขว้าง
IllegalStateException | หากมีข้อผิดพลาดภายใน |
---|---|
RuntimeException | หากมีข้อผิดพลาดที่ไม่ได้ระบุเป็นอย่างอื่น |
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | หากบัฟเฟอร์โมเดลไม่ใช่ ByteBuffer โดยตรงหรือ MappedByteBuffer |
AudioClassifier แบบคงที่สาธารณะ createFromFile (บริบทบริบท, String modelPath)
สร้างอินสแตนซ์ AudioClassifier
จาก AudioClassifier.AudioClassifierOptions
เริ่มต้น
พารามิเตอร์
บริบท | |
---|---|
โมเดลพาธ | เส้นทางของโมเดลการจัดหมวดหมู่พร้อมข้อมูลเมตาในเนื้อหา |
ขว้าง
IOข้อยกเว้น | หากมีข้อผิดพลาด I/O เกิดขึ้นเมื่อโหลดโมเดล tflite |
---|---|
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้าอาร์กิวเมนต์ไม่ถูกต้อง |
IllegalStateException | หากมีข้อผิดพลาดภายใน |
RuntimeException | หากมีข้อผิดพลาดที่ไม่ได้ระบุเป็นอย่างอื่น |
AudioClassifier สาธารณะคงที่ createFromFile ( ไฟล์ modelFile)
สร้างอินสแตนซ์ AudioClassifier
จาก AudioClassifier.AudioClassifierOptions
เริ่มต้น
พารามิเตอร์
modelFile | ตัวอย่าง File แบบจำลองการจำแนกประเภท |
---|
ขว้าง
IOข้อยกเว้น | หากมีข้อผิดพลาด I/O เกิดขึ้นเมื่อโหลดโมเดล tflite |
---|---|
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้าอาร์กิวเมนต์ไม่ถูกต้อง |
IllegalStateException | หากมีข้อผิดพลาดภายใน |
RuntimeException | หากมีข้อผิดพลาดที่ไม่ได้ระบุเป็นอย่างอื่น |
AudioClassifier แบบคงที่สาธารณะ createFromFileAndOptions (บริบทบริบท, ตัวเลือก modelPath สตริง , AudioClassifier.AudioClassifierOptions )
พารามิเตอร์
บริบท | |
---|---|
โมเดลพาธ | เส้นทางของโมเดลการจัดหมวดหมู่พร้อมข้อมูลเมตาในเนื้อหา |
ตัวเลือก |
ขว้าง
IOข้อยกเว้น | หากมีข้อผิดพลาด I/O เกิดขึ้นเมื่อโหลดโมเดล tflite |
---|---|
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้าอาร์กิวเมนต์ไม่ถูกต้อง |
IllegalStateException | หากมีข้อผิดพลาดภายใน |
RuntimeException | หากมีข้อผิดพลาดที่ไม่ได้ระบุเป็นอย่างอื่น |
AudioClassifier แบบคงที่สาธารณะ createFromFileAndOptions (ตัวเลือก ไฟล์ modelFile, AudioClassifier.AudioClassifierOptions )
สร้าง AudioClassifier
พารามิเตอร์
modelFile | ตัวอย่าง File แบบจำลองการจำแนกประเภท |
---|---|
ตัวเลือก |
ขว้าง
IOข้อยกเว้น | หากมีข้อผิดพลาด I/O เกิดขึ้นเมื่อโหลดโมเดล tflite |
---|---|
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้าอาร์กิวเมนต์ไม่ถูกต้อง |
IllegalStateException | หากมีข้อผิดพลาดภายใน |
RuntimeException | หากมีข้อผิดพลาดที่ไม่ได้ระบุเป็นอย่างอื่น |
TensorAudio สาธารณะ createInputTensorAudio ()
สร้างอินสแตนซ์ TensorAudio
เพื่อจัดเก็บตัวอย่างเสียงอินพุต
การส่งคืน
-
TensorAudio
ที่มีขนาดเท่ากับเทนเซอร์อินพุตรุ่น
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้ารุ่นไม่เข้ากัน |
---|
สาธารณะยาว getRequiredInputBufferSize ()
ส่งกลับขนาดบัฟเฟอร์อินพุตที่ต้องการในจำนวนองค์ประกอบลอย
สาธารณะ TensorAudio.TensorAudioFormat getRequiredTensorAudioFormat ()
ส่งคืน TensorAudio.TensorAudioFormat
ที่โมเดลต้องการ