AutoShardDataset

AutoShardDataset คลาสสุดท้ายสาธารณะ

สร้างชุดข้อมูลที่แบ่งส่วนชุดข้อมูลอินพุต

สร้างชุดข้อมูลที่แบ่งส่วนชุดข้อมูลอินพุตตาม num_workers โดยส่งคืนชุดข้อมูลที่แบ่งส่วนสำหรับผู้ปฏิบัติงานที่ดัชนี สิ่งนี้จะพยายามแบ่งชุดข้อมูลโดยอัตโนมัติโดยตรวจสอบกราฟชุดข้อมูลและแทรก shard op ก่อนอินพุตไปยังชุดข้อมูลของผู้อ่าน (เช่น CSVDataset, TFRecordDataset)

ชุดข้อมูลนี้จะทำให้เกิดข้อผิดพลาด NotFound หากเราไม่สามารถแบ่งชุดข้อมูลได้โดยอัตโนมัติ

คลาสที่ซ้อนกัน

ระดับ

AutoShardDataset ตัวเลือก

แอตทริบิวต์เพิ่มเติมสำหรับ AutoShardDataset

ค่าคงที่

สตริง

OP_NAME

ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow

วิธีการสาธารณะ

เอาท์พุต < ชนิด T >	เป็นเอาท์พุต () ส่งกลับค่าแฮนเดิลสัญลักษณ์ของเทนเซอร์
AutoShardDataset.Options แบบคงที่	autoShardPolicy (autoShardPolicy แบบยาว)
ชุดข้อมูล AutoShard แบบคงที่	สร้าง ( ขอบเขต ขอบเขต ตัวดำเนินการ <?> inputDataset, ตัวดำเนินการ < TInt64 > numWorkers, ตัวดำเนินการ < TInt64 > ดัชนี, รายการ<Class<? ขยาย TType >> ประเภทเอาต์พุต, รายการ< รูปร่าง > รูปร่างเอาต์พุต, ตัวเลือก... ตัวเลือก) วิธีการจากโรงงานเพื่อสร้างคลาสที่ห่อการดำเนินการ AutoShardDataset ใหม่
เอาท์พุต <?>	รับมือ ()

วิธีการสืบทอด

จากคลาส org.tensorflow.op.RawOp

บูลีนสุดท้าย	เท่ากับ (วัตถุ obj)
int สุดท้าย	แฮชโค้ด ()
การดำเนินการ	สหกรณ์ () ส่งกลับหน่วยการคำนวณนี้เป็นการ Operation เดียว
สตริงสุดท้าย	toString ()

จากคลาส java.lang.Object

บูลีน	เท่ากับ (วัตถุ arg0)
คลาสสุดท้าย<?>	รับคลาส ()
ภายใน	แฮชโค้ด ()
โมฆะสุดท้าย	แจ้ง ()
โมฆะสุดท้าย	แจ้งทั้งหมด ()
สตริง	toString ()
โมฆะสุดท้าย	รอสักครู่ (ยาว arg0, int arg1)
โมฆะสุดท้าย	รอ (ยาว arg0)
โมฆะสุดท้าย	รอ ()

จากอินเทอร์เฟ ซ org.tensorflow.op.Op

บทคัดย่อ ExecutionEnvironment	สิ่งแวดล้อม () ส่งคืนสภาพแวดล้อมการดำเนินการที่ op นี้ถูกสร้างขึ้น
การดำเนินการ ที่เป็นนามธรรม	สหกรณ์ () ส่งกลับหน่วยการคำนวณนี้เป็นการ Operation เดียว

จากอินเทอร์ เฟซ org.tensorflow.Operand

เอาต์พุต นามธรรม < TType >	เป็นเอาท์พุต () ส่งกลับค่าแฮนเดิลสัญลักษณ์ของเทนเซอร์
TType แบบนามธรรม	แอสเทนเซอร์ () ส่งกลับเทนเซอร์ที่ตัวถูกดำเนินการนี้
รูปร่าง นามธรรม	รูปร่าง () ส่งกลับรูปร่าง (อาจทราบได้บางส่วน) ของเทนเซอร์ที่อ้างอิงโดย Output ของตัวถูกดำเนินการนี้
คลาสนามธรรม< TType >	พิมพ์ () ส่งกลับประเภทเทนเซอร์ของตัวถูกดำเนินการนี้

จากอินเทอร์ เฟซ org.tensorflow.ndarray.Shaped

บทคัดย่อ	อันดับ ()
รูปร่าง นามธรรม	รูปร่าง ()
ยาวเป็นนามธรรม	ขนาด () คำนวณและส่งกลับขนาดรวมของคอนเทนเนอร์นี้เป็นจำนวนค่า

ค่าคงที่

สตริงสุดท้ายแบบคงที่สาธารณะ OP_NAME

ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow

ค่าคงที่: "ชุดข้อมูล AutoShard แบบทดลอง"

วิธีการสาธารณะ

เอาท์ พุท สาธารณะ < TType > asOutput ()

ส่งกลับค่าแฮนเดิลสัญลักษณ์ของเทนเซอร์

อินพุตสำหรับการดำเนินการ TensorFlow คือเอาต์พุตของการดำเนินการ TensorFlow อื่น วิธีการนี้ใช้เพื่อรับหมายเลขอ้างอิงสัญลักษณ์ที่แสดงถึงการคำนวณอินพุต

AutoShardDataset แบบคงที่สาธารณะ ตัวเลือก autoShardPolicy (autoShardPolicy แบบยาว)

การสร้าง AutoShardDataset แบบคงที่สาธารณะ (ขอบเขต ขอบเขต , ตัวดำเนินการ <?> inputDataset, ตัวดำเนินการ < TInt64 > numWorkers, ตัวดำเนินการ < TInt64 > ดัชนี, รายการ<Class<? ขยาย TType >> outputTypes, รายการ< รูปร่าง > outputShapes, ตัวเลือก... ตัวเลือก)

วิธีการจากโรงงานเพื่อสร้างคลาสที่ห่อการดำเนินการ AutoShardDataset ใหม่

พารามิเตอร์

ขอบเขต	ขอบเขตปัจจุบัน
ชุดข้อมูลอินพุต	เทนเซอร์ตัวแปรที่แสดงถึงชุดข้อมูลอินพุต
numWorkers	สเกลาร์ที่แสดงจำนวนคนทำงานเพื่อกระจายชุดข้อมูลนี้ไป
ดัชนี	สเกลาร์ที่แสดงดัชนีของผู้ปฏิบัติงานปัจจุบันจาก num_workers
ตัวเลือก	มีค่าแอตทริบิวต์ทางเลือก

การส่งคืน

• อินสแตนซ์ใหม่ของ AutoShardDataset

เอาท์ พุท สาธารณะ <?> จัดการ ()