รวมเทนเซอร์อินพุตทั้งหมดแบบไม่กำหนดแบบกำหนด
เมื่ออินสแตนซ์จำนวนมากของ Op นี้ถูกเรียกใช้พร้อมกันกับคอนเทนเนอร์/shared_name เดียวกันในอุปกรณ์เดียวกัน บางส่วนจะส่งออกเทนเซอร์ที่มีรูปทรงเป็นศูนย์ และบางตัวจะส่งออกเทนเซอร์ที่มีขนาดสูงสุดถึง max_batch_size
Tensors ทั้งหมดใน in_tensors ถูกรวมเป็นชุด (เช่น ป้ายกำกับและคุณลักษณะต่างๆ ควรถูกรวมเป็นชุดด้วยอินสแตนซ์เดียวของการดำเนินการนี้
การเรียกใช้แบทช์แต่ละครั้งจะปล่อยสเกลาร์ "id" ซึ่งจะใช้เพื่อระบุการเรียกใช้เฉพาะนี้เมื่อทำการ unbatch หรือการไล่ระดับ
แต่ละ op ที่ปล่อยแบตช์ที่ไม่ว่างจะปล่อย batch_index Tensor ที่ไม่ว่างด้วย ซึ่งเป็นเมทริกซ์ [K, 3] โดยที่แต่ละแถวมี ID การเริ่มต้นและความยาวขององค์ประกอบของ Tensor แต่ละชุดที่มีอยู่ใน batched_tensor
เทนเซอร์แบบแบตช์จะถูกต่อกันตามมิติแรก และเทนเซอร์ทั้งหมดใน in_tensor ต้องมีมิติแรกที่มีขนาดเท่ากัน
in_tensors: เมตริกซ์ที่จะแบทช์ num_batch_threads: จำนวนเธรดการจัดกำหนดการสำหรับการประมวลผลชุดงาน กำหนดจำนวนแบทช์ที่ประมวลผลแบบขนาน max_batch_size: ขนาดแบทช์จะไม่มีวันใหญ่กว่านี้ batch_timeout_micros: จำนวนไมโครวินาทีสูงสุดที่จะรอก่อนที่จะส่งออกแบตช์ที่ไม่สมบูรณ์ Allow_batch_sizes: รายการทางเลือกของขนาดแบทช์ที่อนุญาต ถ้าปล่อยว่างไว้ก็ไม่ทำอะไร มิเช่นนั้น ให้ระบุรายการขนาดแบทช์ ซึ่งทำให้ op to pad batch มีขนาดใดขนาดหนึ่ง รายการต้องเพิ่มขึ้นแบบโมโนโทน และรายการสุดท้ายต้องเท่ากับ max_batch_size grad_timeout_micros: ระยะหมดเวลาที่จะใช้สำหรับการไล่ระดับสี ดู Unbatch batched_tensor: เทนเซอร์เปล่าหรือชุดของเทนเซอร์ที่ต่อกัน batch_index: หาก out_tensor ไม่ว่างเปล่า มีข้อมูลที่จะกลับด้าน คอนเทนเนอร์: ควบคุมขอบเขตการแชร์ของแบทช์นี้ id: มีสเกลาร์ที่มี ID เฉพาะสำหรับการเรียกใช้ Batch นี้เสมอ shared_name: การรันอินสแตนซ์ของแบตช์พร้อมกันในอุปกรณ์เดียวกันกับคอนเทนเนอร์เดียวกัน และ shared_name จะแบทช์องค์ประกอบเข้าด้วยกัน หากเว้นว่างไว้ ชื่อ op จะถูกใช้เป็นชื่อที่ใช้ร่วมกัน T: ประเภทของเทนเซอร์ที่จะแบทช์
คลาสที่ซ้อนกัน
| ระดับ | Batch.Options | คุณลักษณะที่จำเป็นสำหรับการ Batch | |
วิธีการสาธารณะ
| คง Batch.Options | allowedBatchSizes (รายการ <ยาว> allowedBatchSizes) |
| เอาท์พุท <ยาว> | batchIndex () |
| รายการ < เอาท์พุท <? >> | |
| คง Batch.Options | batchingQueue (String batchingQueue) |
| คง Batch.Options | ภาชนะ (String ภาชนะ) |
| คง Batch | สร้าง ( ขอบเขต ขอบเขต Iterable < Operand <? >> inTensors, numBatchThreads ยาวยาว maxBatchSize ยาว batchTimeoutMicros ยาว gradTimeoutMicros, ตัวเลือก ... ตัวเลือก) วิธีการจากโรงงานเพื่อสร้างคลาสที่ปิดการดำเนินการแบทช์ใหม่ |
| เอาท์พุท <ยาว> | ID () |
| คง Batch.Options | maxEnqueuedBatches (Long maxEnqueuedBatches) |
| คง Batch.Options | sharedName (String sharedName) |
วิธีการสืบทอด
วิธีการสาธารณะ
สาธารณะคง Batch สร้าง ( ขอบเขต ขอบเขต Iterable < Operand <? >> inTensors, numBatchThreads ยาวยาว maxBatchSize ยาว batchTimeoutMicros ยาว gradTimeoutMicros, ตัวเลือก ... ตัวเลือก)
วิธีการจากโรงงานเพื่อสร้างคลาสที่ปิดการดำเนินการแบทช์ใหม่
พารามิเตอร์
| ขอบเขต | ขอบเขตปัจจุบัน |
|---|---|
| ตัวเลือก | ดำเนินการค่าแอตทริบิวต์ทางเลือก |
คืนสินค้า
- ตัวอย่างใหม่ของ Batch