คลาสย่อยทางอ้อมที่รู้จัก |
อินเทอร์เฟซกับล่ามโมเดล TensorFlow Lite ไม่รวมวิธีการทดลอง
อินสแตนซ์ InterpreterApi
สรุปโมเดล TensorFlow Lite ที่ได้รับการฝึกล่วงหน้า ซึ่งมีการดำเนินการสำหรับการอนุมานโมเดล
ตัวอย่างเช่น หากโมเดลรับเพียงหนึ่งอินพุตและส่งกลับเอาต์พุตเพียงเอาต์พุตเดียว:
try (InterpreterApi interpreter =
new InterpreterApi.create(file_of_a_tensorflowlite_model)) {
interpreter.run(input, output);
}
หากโมเดลรับอินพุตหรือเอาต์พุตหลายรายการ:
Object[] inputs = {input0, input1, ...};
Map<Integer, Object> map_of_indices_to_outputs = new HashMap<>();
FloatBuffer ith_output = FloatBuffer.allocateDirect(3 * 2 * 4); // Float tensor, shape 3x2x4.
ith_output.order(ByteOrder.nativeOrder());
map_of_indices_to_outputs.put(i, ith_output);
try (InterpreterApi interpreter =
new InterpreterApi.create(file_of_a_tensorflowlite_model)) {
interpreter.runForMultipleInputsOutputs(inputs, map_of_indices_to_outputs);
}
หากโมเดลรับหรือสร้างเทนเซอร์สตริง:
String[] input = {"foo", "bar"}; // Input tensor shape is [2].
String[][] output = new String[3][2]; // Output tensor shape is [3, 2].
try (InterpreterApi interpreter =
new InterpreterApi.create(file_of_a_tensorflowlite_model)) {
interpreter.runForMultipleInputsOutputs(input, output);
}
โปรดทราบว่ามีความแตกต่างระหว่างรูปร่าง [] และรูปร่าง [1] สำหรับเอาต์พุตเทนเซอร์สตริงสเกลาร์:
String[] input = {"foo"}; // Input tensor shape is [1].
ByteBuffer outputBuffer = ByteBuffer.allocate(OUTPUT_BYTES_SIZE); // Output tensor shape is [].
try (Interpreter interpreter = new Interpreter(file_of_a_tensorflowlite_model)) {
interpreter.runForMultipleInputsOutputs(input, outputBuffer);
}
byte[] outputBytes = new byte[outputBuffer.remaining()];
outputBuffer.get(outputBytes);
// Below, the `charset` can be StandardCharsets.UTF_8.
String output = new String(outputBytes, charset);
ลำดับของอินพุตและเอาต์พุตจะถูกกำหนดเมื่อแปลงโมเดล TensorFlow เป็นโมเดล TensorFlowLite ด้วย Toco เช่นเดียวกับรูปร่างเริ่มต้นของอินพุต
เมื่ออินพุตถูกจัดเตรียมเป็นอาร์เรย์ (หลายมิติ) เทนเซอร์อินพุตที่เกี่ยวข้องจะถูกปรับขนาดโดยปริยายตามรูปร่างของอาร์เรย์นั้น เมื่ออินพุตถูกระบุเป็นประเภท Buffer
จะไม่มีการปรับขนาดโดยนัย ผู้เรียกจะต้องตรวจสอบให้แน่ใจว่าขนาดไบต์ Buffer
ตรงกับของเทนเซอร์ที่เกี่ยวข้อง หรือปรับขนาดเทนเซอร์ก่อนผ่าน resizeInput(int, int[])
ข้อมูลรูปร่างและประเภทของเทนเซอร์สามารถรับได้ผ่านคลาส Tensor
ซึ่งมีให้ผ่าน getInputTensor(int)
และ getOutputTensor(int)
คำเตือน: อินสแตนซ์ InterpreterApi
ไม่ ปลอดภัยสำหรับเธรด
คำเตือน: อินสแตนซ์ InterpreterApi
เป็นเจ้าของทรัพยากรที่ ต้อง ได้รับการปลดปล่อยอย่างชัดเจนโดยการเรียกใช้ close()
ไลบรารี TFLite สร้างขึ้นจาก NDK API 19 ซึ่งอาจใช้งานได้กับ Android API ระดับต่ำกว่า 19 แต่ไม่รับประกัน
คลาสที่ซ้อนกัน
ระดับ | InterpreterApi ตัวเลือก | คลาสตัวเลือกสำหรับควบคุมพฤติกรรมล่ามรันไทม์ |
วิธีการสาธารณะ
ความว่างเปล่าที่เป็นนามธรรม | จัดสรรเทนเซอร์ () อัปเดตการจัดสรรอย่างชัดเจนสำหรับเทนเซอร์ทั้งหมด หากจำเป็น |
ความว่างเปล่าที่เป็นนามธรรม | ปิด () เผยแพร่ทรัพยากรที่เกี่ยวข้องกับอินสแตนซ์ InterpreterApi |
InterpreterApi แบบคงที่ | สร้าง (ตัวเลือก ไฟล์ modelFile, InterpreterApi.Options ) สร้างอินสแตนซ์ InterpreterApi โดยใช้โมเดลและตัวเลือกที่ระบุ |
InterpreterApi แบบคงที่ | สร้าง (ตัวเลือก ByteBuffer byteBuffer, InterpreterApi.Options ) สร้างอินสแตนซ์ InterpreterApi โดยใช้โมเดลและตัวเลือกที่ระบุ |
บทคัดย่อ | |
เทนเซอร์ ที่เป็นนามธรรม | getInputTensor (int inputIndex) รับเทนเซอร์ที่เกี่ยวข้องกับดัชนีอินพุตที่ให้มา |
บทคัดย่อ | getInputTensorCount () รับจำนวนเทนเซอร์อินพุต |
นามธรรม ยาว | getLastNativeInferenceDurationNanoseconds () ส่งกลับระยะเวลาการอนุมานดั้งเดิม |
บทคัดย่อ | |
เทนเซอร์ ที่เป็นนามธรรม | getOutputTensor (int เอาท์พุทดัชนี) รับค่าเทนเซอร์ที่เกี่ยวข้องกับดัชนีเอาต์พุตที่ระบุ |
บทคัดย่อ | getOutputTensorCount () รับจำนวนเทนเซอร์เอาท์พุต |
ความว่างเปล่าที่เป็นนามธรรม | resizeInput (int idx, int[] dims, บูลีนเข้มงวด) ปรับขนาดอินพุต idx-th ของโมเดลเนทิฟให้เป็นค่า dims ที่กำหนด |
ความว่างเปล่าที่เป็นนามธรรม | resizeInput (int idx, int[] สลัว) ปรับขนาดอินพุต idx-th ของโมเดลเนทิฟให้เป็นค่า dims ที่กำหนด |
ความว่างเปล่าที่เป็นนามธรรม | วิ่ง ( อินพุตวัตถุ , เอาต์พุต วัตถุ ) รันการอนุมานโมเดลหากโมเดลรับเพียงหนึ่งอินพุต และจัดเตรียมเอาต์พุตเพียงอันเดียว |
ความว่างเปล่าที่เป็นนามธรรม | runForMultipleInputsOutputs (อินพุต Object[] , แผนที่ < Integer , Object > เอาต์พุต) รันการอนุมานโมเดลหากโมเดลรับอินพุตหลายอินพุต หรือส่งคืนเอาต์พุตหลายเอาต์พุต |
วิธีการสืบทอด
วิธีการสาธารณะ
โมฆะนามธรรมสาธารณะจัดสรร Tensors ()
อัปเดตการจัดสรรอย่างชัดเจนสำหรับเทนเซอร์ทั้งหมด หากจำเป็น
สิ่งนี้จะเผยแพร่รูปร่างและการจัดสรรหน่วยความจำสำหรับเทนเซอร์ที่ขึ้นต่อกันโดยใช้รูปร่างเทนเซอร์อินพุตตามที่กำหนด
หมายเหตุ: การโทรนี้เป็น *ทางเลือกเท่านั้น* การจัดสรรเทนเซอร์จะเกิดขึ้นโดยอัตโนมัติระหว่างการดำเนินการ หากมีการปรับขนาดเทนเซอร์อินพุตใดๆ การเรียกนี้มีประโยชน์มากที่สุดในการกำหนดรูปร่างสำหรับเทนเซอร์เอาท์พุตใดๆ ก่อนที่จะรันกราฟ เช่น
interpreter.resizeInput(0, new int[]{1, 4, 4, 3}));
interpreter.allocateTensors();
FloatBuffer input = FloatBuffer.allocate(interpreter.getInputTensor(0).numElements());
// Populate inputs...
FloatBuffer output = FloatBuffer.allocate(interpreter.getOutputTensor(0).numElements());
interpreter.run(input, output)
// Process outputs...
หมายเหตุ: กราฟบางกราฟมีเอาท์พุตที่มีรูปทรงแบบไดนามิก ซึ่งในกรณีนี้รูปร่างเอาท์พุตอาจไม่แพร่กระจายอย่างสมบูรณ์จนกว่าจะดำเนินการอนุมาน
ขว้าง
IllegalStateException | หากไม่สามารถจัดสรรเทนเซอร์ของกราฟได้สำเร็จ |
---|
โมฆะนามธรรมสาธารณะ ปิด ()
เผยแพร่ทรัพยากรที่เกี่ยวข้องกับอินสแตนซ์ InterpreterApi
การสร้าง InterpreterApi แบบคงที่สาธารณะ (ตัวเลือก ไฟล์ modelFile, InterpreterApi.Options )
สร้างอินสแตนซ์ InterpreterApi
โดยใช้โมเดลและตัวเลือกที่ระบุ โมเดลจะถูกโหลดจากไฟล์
พารามิเตอร์
modelFile | ไฟล์ที่มีโมเดล TF Lite ที่ได้รับการฝึกอบรมล่วงหน้า |
---|---|
ตัวเลือก | ชุดตัวเลือกสำหรับปรับแต่งพฤติกรรมของล่าม |
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | หาก modelFile ไม่ได้เข้ารหัสโมเดล TensorFlow Lite ที่ถูกต้อง |
---|
การสร้าง InterpreterApi แบบคงที่สาธารณะ (ตัวเลือก ByteBuffer byteBuffer, InterpreterApi.Options )
สร้างอินสแตนซ์ InterpreterApi
โดยใช้โมเดลและตัวเลือกที่ระบุ โมเดลจะถูกอ่านจาก ByteBuffer
พารามิเตอร์
ไบต์บัฟเฟอร์ | โมเดล TF Lite ที่ได้รับการฝึกอบรมล่วงหน้า ในรูปแบบซีเรียลไลซ์แบบไบนารี ไม่ควรแก้ไข ByteBuffer หลังจากการสร้างอินสแตนซ์ InterpreterApi ByteBuffer อาจเป็นได้ทั้ง MappedByteBuffer ที่หน่วยความจำแมปไฟล์โมเดล หรือ ByteBuffer โดยตรงของ NativeOrder() ที่มีเนื้อหาไบต์ของโมเดล |
---|---|
ตัวเลือก | ชุดตัวเลือกสำหรับปรับแต่งพฤติกรรมของล่าม |
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้า byteBuffer ไม่ใช่ MappedByteBuffer หรือ ByteBuffer โดยตรงของ NativeOrder |
---|
บทคัดย่อสาธารณะ int getInputIndex ( สตริง opName)
รับดัชนีของอินพุตที่กำหนดชื่อ op ของอินพุต
พารามิเตอร์
opName |
---|
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | หาก opName ไม่ตรงกับอินพุตใด ๆ ในโมเดลที่ใช้ในการเริ่มต้นล่าม |
---|
บทคัดย่อสาธารณะ Tensor getInputTensor (int inputIndex)
รับเทนเซอร์ที่เกี่ยวข้องกับดัชนีอินพุตที่ให้มา
พารามิเตอร์
ดัชนีอินพุต |
---|
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้า inputIndex เป็นลบหรือไม่เล็กกว่าจำนวนอินพุตโมเดล |
---|
นามธรรมสาธารณะ int getInputTensorCount ()
รับจำนวนเทนเซอร์อินพุต
นามธรรมสาธารณะ Long getLastNativeInferenceDurationNanoseconds ()
ส่งกลับระยะเวลาการอนุมานดั้งเดิม
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | หากล่ามไม่ได้เตรียมใช้งานโมเดล |
---|
บทคัดย่อสาธารณะ int getOutputIndex ( สตริง opName)
รับดัชนีของเอาต์พุตที่กำหนดชื่อ op ของเอาต์พุต
พารามิเตอร์
opName |
---|
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | หาก opName ไม่ตรงกับเอาต์พุตใด ๆ ในโมเดลที่ใช้ในการเริ่มต้นล่าม |
---|
บทคัดย่อสาธารณะ Tensor getOutputTensor (int outputIndex)
รับค่าเทนเซอร์ที่เกี่ยวข้องกับดัชนีเอาต์พุตที่ระบุ
หมายเหตุ: รายละเอียดเทนเซอร์เอาท์พุต (เช่น รูปร่าง) อาจไม่ได้รับการเติมข้อมูลทั้งหมดจนกว่าจะดำเนินการอนุมาน หากคุณต้องการรายละเอียดที่อัปเดต *ก่อน* เรียกใช้การอนุมาน (เช่น หลังจากปรับขนาดเทนเซอร์อินพุต ซึ่งอาจทำให้รูปร่างเทนเซอร์เอาท์พุตโมฆะ) ให้ใช้ allocateTensors()
เพื่อทริกเกอร์การจัดสรรและการแพร่กระจายรูปร่างอย่างชัดเจน โปรดทราบว่า สำหรับกราฟที่มีรูปร่างเอาต์พุตซึ่งขึ้นอยู่กับ *ค่า* อินพุต รูปร่างเอาต์พุตอาจไม่ถูกกำหนดอย่างสมบูรณ์จนกว่าจะทำการอนุมาน
พารามิเตอร์
ดัชนีเอาท์พุท |
---|
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้า outputIndex เป็นลบหรือไม่เล็กกว่าจำนวนเอาต์พุตของโมเดล |
---|
บทคัดย่อสาธารณะ int getOutputTensorCount ()
รับจำนวนเทนเซอร์เอาท์พุต
โมฆะนามธรรมสาธารณะ resizeInput (int idx, int[] dims, บูลีนเข้มงวด)
ปรับขนาดอินพุต idx-th ของโมเดลเนทิฟให้เป็นค่า dims ที่กำหนด
เมื่อ `เข้มงวด` เป็น True จะสามารถปรับขนาดได้เฉพาะมิติที่ไม่รู้จักเท่านั้น ขนาดที่ไม่รู้จักจะแสดงเป็น "-1" ในอาร์เรย์ที่ส่งคืนโดย `Tensor.shapeSignature()`
พารามิเตอร์
รหัสประจำตัว | |
---|---|
สลัว | |
เข้มงวด |
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้า idx เป็นลบหรือไม่เล็กกว่าจำนวนอินพุตโมเดล หรือหากเกิดข้อผิดพลาดขณะปรับขนาดอินพุต idx-th นอกจากนี้ ข้อผิดพลาดยังเกิดขึ้นเมื่อพยายามปรับขนาดเทนเซอร์ด้วยขนาดคงที่เมื่อ "เข้มงวด" เป็นจริง |
---|
โมฆะนามธรรมสาธารณะ resizeInput (int idx, int [] dims)
ปรับขนาดอินพุต idx-th ของโมเดลเนทิฟให้เป็นค่า dims ที่กำหนด
พารามิเตอร์
รหัสประจำตัว | |
---|---|
สลัว |
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้า idx เป็นลบหรือไม่เล็กกว่าจำนวนอินพุตโมเดล หรือหากเกิดข้อผิดพลาดขณะปรับขนาดอินพุต idx-th |
---|
การรัน โมฆะนามธรรมสาธารณะ (อินพุต วัตถุ , เอาต์พุตวัตถุ )
รันการอนุมานโมเดลหากโมเดลรับเพียงหนึ่งอินพุต และจัดเตรียมเอาต์พุตเพียงอันเดียว
คำเตือน: API จะมีประสิทธิภาพมากกว่าหากใช้ Buffer
(โดยตรงมากกว่า แต่ไม่จำเป็น) เป็นประเภทข้อมูลอินพุต/เอาท์พุต โปรดพิจารณาใช้ Buffer
เพื่อฟีดและดึงข้อมูลดั้งเดิมเพื่อประสิทธิภาพที่ดีขึ้น รองรับประเภท Buffer
คอนกรีตต่อไปนี้:
-
ByteBuffer
- เข้ากันได้กับประเภท Tensor ดั้งเดิมพื้นฐาน -
FloatBuffer
- เข้ากันได้กับโฟลตเทนเซอร์ -
IntBuffer
- เข้ากันได้กับ int32 Tensors -
LongBuffer
- เข้ากันได้กับ int64 Tensors
Buffer
s หรือเป็นอินพุตสเกลาร์ พารามิเตอร์
ป้อนข้อมูล | อาร์เรย์หรืออาร์เรย์หลายมิติ หรือ Buffer ประเภทดั้งเดิมซึ่งรวมถึง int, float, long และ byte Buffer เป็นวิธีที่แนะนำในการส่งข้อมูลอินพุตขนาดใหญ่สำหรับประเภทดั้งเดิม ในขณะที่ประเภทสตริงจำเป็นต้องใช้เส้นทางอินพุตอาร์เรย์ (หลายมิติ) เมื่อใช้ Buffer เนื้อหาควรจะคงเดิมจนกว่าการอนุมานแบบจำลองจะเสร็จสิ้น และผู้เรียกต้องแน่ใจว่า Buffer อยู่ในตำแหน่งการอ่านที่เหมาะสม อนุญาตให้ใช้ค่า null ก็ต่อเมื่อผู้เรียกใช้ Delegate ที่อนุญาตให้บัฟเฟอร์จัดการการทำงานร่วมกัน และบัฟเฟอร์ดังกล่าวถูกผูกไว้กับอินพุต Tensor |
---|---|
เอาท์พุท | อาร์เรย์หลายมิติของข้อมูลเอาต์พุต หรือ Buffer ประเภทดั้งเดิม รวมถึง int, float, long และ byte เมื่อใช้ Buffer ผู้เรียกต้องแน่ใจว่าได้ตั้งค่าตำแหน่งการเขียนที่เหมาะสมแล้ว อนุญาตให้ใช้ค่า Null ได้ และมีประโยชน์ในบางกรณี เช่น หากผู้เรียกใช้ Delegate ที่อนุญาตให้บัฟเฟอร์จัดการ interop และบัฟเฟอร์ดังกล่าวถูกผูกไว้กับเอาท์พุต Tensor (โปรดดู Interpreter.Options#setAllowBufferHandleOutput(boolean) ) หรือหากกราฟมีเอาท์พุตที่มีรูปทรงแบบไดนามิก และผู้เรียกต้องสืบค้นรูปร่าง Tensor หลังจากการอนุมานถูกเรียกใช้ โดยดึงข้อมูลโดยตรงจากเทนเซอร์เอาท์พุต (ผ่าน Tensor.asReadOnlyBuffer() ) |
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | หาก input เป็นโมฆะหรือว่างเปล่า หรือหากมีข้อผิดพลาดเกิดขึ้นเมื่อรันการอนุมาน |
---|---|
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | (ทดลอง อาจมีการเปลี่ยนแปลง) หากการอนุมานถูกขัดจังหวะโดย setCancelled(true) |
โมฆะสาธารณะนามธรรม runForMultipleInputsOutputs (อินพุต Object [] , แผนที่ < Integer , Object > เอาต์พุต)
รันการอนุมานโมเดลหากโมเดลรับอินพุตหลายอินพุต หรือส่งคืนเอาต์พุตหลายเอาต์พุต
คำเตือน: API จะมีประสิทธิภาพมากกว่าหากใช้ Buffer
(ควรใช้โดยตรง แต่ไม่จำเป็น) เป็นประเภทข้อมูลอินพุต/เอาท์พุต โปรดพิจารณาใช้ Buffer
เพื่อฟีดและดึงข้อมูลดั้งเดิมเพื่อประสิทธิภาพที่ดีขึ้น รองรับประเภท Buffer
คอนกรีตต่อไปนี้:
-
ByteBuffer
- เข้ากันได้กับประเภท Tensor ดั้งเดิมพื้นฐาน -
FloatBuffer
- เข้ากันได้กับโฟลตเทนเซอร์ -
IntBuffer
- เข้ากันได้กับ int32 Tensors -
LongBuffer
- เข้ากันได้กับ int64 Tensors
Buffer
s หรือเป็นอินพุตสเกลาร์ หมายเหตุ: อนุญาตให้ใช้ค่า null
สำหรับองค์ประกอบ inputs
และ outputs
เฉพาะในกรณีที่ผู้เรียกใช้ Delegate
ที่อนุญาตให้บัฟเฟอร์จัดการการทำงานร่วมกัน และบัฟเฟอร์ดังกล่าวถูกผูกไว้กับ Tensor
อินพุตหรือเอาท์พุตที่สอดคล้องกัน
พารามิเตอร์
อินพุต | อาร์เรย์ของข้อมูลอินพุต อินพุตควรอยู่ในลำดับเดียวกันกับอินพุตของโมเดล อินพุตแต่ละรายการสามารถเป็นอาร์เรย์หรืออาร์เรย์หลายมิติ หรือ Buffer ประเภทดั้งเดิมซึ่งรวมถึง int, float, long และ byte Buffer เป็นวิธีที่แนะนำในการส่งข้อมูลอินพุตขนาดใหญ่ ในขณะที่ประเภทสตริงจำเป็นต้องใช้เส้นทางอินพุตอาร์เรย์ (หลายมิติ) เมื่อใช้ Buffer เนื้อหาควรจะคงเดิมจนกว่าการอนุมานแบบจำลองจะเสร็จสิ้น และผู้เรียกต้องแน่ใจว่า Buffer อยู่ในตำแหน่งการอ่านที่เหมาะสม |
---|---|
เอาท์พุท | ดัชนีเอาต์พุตการแมปแผนที่ไปยังอาร์เรย์หลายมิติของข้อมูลเอาต์พุตหรือ Buffer ประเภทดั้งเดิมรวมถึง int, float, long และ byte เพียงแต่ต้องเก็บรายการไว้สำหรับเอาต์พุตที่จะใช้ เมื่อใช้ Buffer ผู้เรียกต้องแน่ใจว่าได้ตั้งค่าตำแหน่งการเขียนที่เหมาะสมแล้ว แผนที่อาจว่างเปล่าสำหรับกรณีที่มีการใช้ตัวจับบัฟเฟอร์สำหรับข้อมูลเทนเซอร์เอาท์พุต หรือกรณีที่เอาท์พุตมีรูปทรงแบบไดนามิก และผู้เรียกต้องสืบค้นรูปร่างเทนเซอร์ Tensor หลังจากการอนุมานถูกเรียกใช้ โดยดึงข้อมูลโดยตรงจากเทนเซอร์เอาท์พุต ( ผ่าน Tensor.asReadOnlyBuffer() ) |
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | หาก inputs เป็นโมฆะหรือว่างเปล่า หาก outputs เป็นโมฆะ หรือหากเกิดข้อผิดพลาดขณะรันการอนุมาน |
---|