Thực hiện phân loại trên dạng sóng âm thanh.
API yêu cầu mô hình TFLite với Siêu dữ liệu mô hình TFLite. .
API hỗ trợ các mô hình có một tenxơ đầu vào âm thanh và một tenxơ đầu ra phân loại. Để cụ thể hơn, đây là các yêu cầu.
- Tenor âm thanh đầu vào (
kTfLiteFloat32
)- Bộ đệm âm thanh đầu vào có kích thước
[batch x samples]
. - suy luận hàng loạt không được hỗ trợ (
batch
buộc phải là 1).
- Bộ đệm âm thanh đầu vào có kích thước
kTfLiteFloat32
)- với
N
lớp có 2 hoặc 4 chiều, chẳng hạn như[1 x N]
hoặc[1 x 1 x 1 x N]
- tệp nhãn bắt buộc phải được đóng gói vào siêu dữ liệu. Xem ví dụ về tạo siêu dữ liệu cho bộ phân loại hình ảnh . Nếu không có tệp nhãn nào được đóng gói, nó sẽ sử dụng chỉ mục làm nhãn trong kết quả.
Các lớp lồng nhau
lớp học | AudioClassifier.AudioClassifierOptions | Các tùy chọn để thiết lập AudioClassifier . |
Phương pháp công khai
Phương pháp kế thừa
Phương pháp công khai
Danh sách công khai < Phân loại > phân loại ( tensor TensorAudio )
Thực hiện phân loại thực tế trên tensor âm thanh được cung cấp.
Thông số
tenxơ | một TensorAudio chứa clip âm thanh đầu vào nổi với các giá trị trong khoảng [-1, 1). Đối số tensor phải có cùng kích thước phẳng với tensor đầu vào của mô hình TFLite. Bạn nên tạo tensor bằng phương thức createInputTensorAudio . |
---|
Ném
Ngoại lệ Đối số bất hợp pháp | nếu một đối số không hợp lệ |
---|---|
Ngoại lệ nhà nước bất hợp pháp | nếu xảy ra lỗi khi phân loại clip âm thanh từ mã gốc |
AudioRecord công khai createAudioRecord ()
Tạo một phiên bản AudioRecord
để ghi lại luồng âm thanh. Phiên bản AudioRecord trả về được khởi tạo và máy khách cần gọi phương thức AudioRecord.startRecordingnull
để bắt đầu ghi.
Trả lại
- một phiên bản
AudioRecord
trongAudioRecord.STATE_INITIALIZED
Ném
Ngoại lệ Đối số bất hợp pháp | nếu số lượng kênh yêu cầu của mô hình không được hỗ trợ |
---|---|
Ngoại lệ nhà nước bất hợp pháp | nếu phiên bản AudioRecord không khởi tạo được |
Trình phân loại âm thanh tĩnh công khai createFromBuffer ( ByteBuffer modelBuffer)
Tạo một phiên bản AudioClassifier
với bộ đệm mô hình và AudioClassifier.AudioClassifierOptions
mặc định.
Thông số
bộ đệm mô hình | ByteBuffer trực tiếp hoặc MappedByteBuffer của mô hình phân loại |
---|
Ném
Ngoại lệ nhà nước bất hợp pháp | nếu có lỗi nội bộ |
---|---|
Ngoại lệ thời gian chạy | nếu có một lỗi không xác định khác |
Ngoại lệ Đối số bất hợp pháp | nếu bộ đệm mô hình không phải là ByteBuffer trực tiếp hoặc MappedByteBuffer |
AudioClassifier tĩnh công khai createFromBufferAndOptions (các tùy chọn ByteBuffer modelBuffer, AudioClassifier.AudioClassifierOptions )
Tạo một phiên bản AudioClassifier
với bộ đệm mô hình và AudioClassifier.AudioClassifierOptions
.
Thông số
bộ đệm mô hình | ByteBuffer trực tiếp hoặc MappedByteBuffer của mô hình phân loại |
---|---|
tùy chọn |
Ném
Ngoại lệ nhà nước bất hợp pháp | nếu có lỗi nội bộ |
---|---|
Ngoại lệ thời gian chạy | nếu có một lỗi không xác định khác |
Ngoại lệ Đối số bất hợp pháp | nếu bộ đệm mô hình không phải là ByteBuffer trực tiếp hoặc MappedByteBuffer |
Công cụ phân loại âm thanh tĩnh công khai createFromFile (Ngữ cảnh bối cảnh, String modelPath)
Tạo một phiên bản AudioClassifier
từ AudioClassifier.AudioClassifierOptions
mặc định.
Thông số
bối cảnh | |
---|---|
đường dẫn mô hình | đường dẫn của mô hình phân loại với siêu dữ liệu trong nội dung |
Ném
IOException | nếu xảy ra lỗi I/O khi tải mô hình tflite |
---|---|
Ngoại lệ Đối số bất hợp pháp | nếu một đối số không hợp lệ |
Ngoại lệ nhà nước bất hợp pháp | nếu có lỗi nội bộ |
Ngoại lệ thời gian chạy | nếu có một lỗi không xác định khác |
Công cụ phân loại âm thanh tĩnh công khai createFromFile ( File modelFile)
Tạo một phiên bản AudioClassifier
từ AudioClassifier.AudioClassifierOptions
mặc định.
Thông số
tập tin mô hình | mô hình File loại Ví dụ tệp |
---|
Ném
IOException | nếu xảy ra lỗi I/O khi tải mô hình tflite |
---|---|
Ngoại lệ Đối số bất hợp pháp | nếu một đối số không hợp lệ |
Ngoại lệ nhà nước bất hợp pháp | nếu có lỗi nội bộ |
Ngoại lệ thời gian chạy | nếu có một lỗi không xác định khác |
public static AudioClassifier createFromFileAndOptions (Ngữ cảnh ngữ cảnh, String modelPath, AudioClassifier.AudioClassifierOptions tùy chọn)
Tạo một phiên bản AudioClassifier
từ AudioClassifier.AudioClassifierOptions
.
Thông số
bối cảnh | |
---|---|
đường dẫn mô hình | đường dẫn của mô hình phân loại với siêu dữ liệu trong nội dung |
tùy chọn |
Ném
IOException | nếu xảy ra lỗi I/O khi tải mô hình tflite |
---|---|
Ngoại lệ Đối số bất hợp pháp | nếu một đối số không hợp lệ |
Ngoại lệ nhà nước bất hợp pháp | nếu có lỗi nội bộ |
Ngoại lệ thời gian chạy | nếu có một lỗi không xác định khác |
Công cụ phân loại âm thanh tĩnh công khai createFromFileAndOptions ( Tùy chọn tệp modelFile, AudioClassifier.AudioClassifierOptions )
Tạo một phiên bản AudioClassifier
.
Thông số
tập tin mô hình | mô hình File loại Ví dụ tệp |
---|---|
tùy chọn |
Ném
IOException | nếu xảy ra lỗi I/O khi tải mô hình tflite |
---|---|
Ngoại lệ Đối số bất hợp pháp | nếu một đối số không hợp lệ |
Ngoại lệ nhà nước bất hợp pháp | nếu có lỗi nội bộ |
Ngoại lệ thời gian chạy | nếu có một lỗi không xác định khác |
công khai TensorAudio createInputTensorAudio ()
Tạo một phiên bản TensorAudio
để lưu trữ các mẫu âm thanh đầu vào.
Trả lại
- một
TensorAudio
có cùng kích thước với tenxơ đầu vào mô hình
Ném
Ngoại lệ Đối số bất hợp pháp | nếu mô hình không tương thích |
---|
công khai getRequiredInputBufferSize ()
Trả về kích thước bộ đệm đầu vào được yêu cầu theo số phần tử float.
công khai TensorAudio.TensorAudioFormat getRequiredTensorAudioFormat ()
Trả về TensorAudio.TensorAudioFormat
mà mô hình yêu cầu.