AutoShardDataset

AutoShardDataset คลาสสุดท้ายสาธารณะ

สร้างชุดข้อมูลที่แบ่งส่วนชุดข้อมูลอินพุต

สร้างชุดข้อมูลที่แบ่งส่วนชุดข้อมูลอินพุตตาม num_workers โดยส่งคืนชุดข้อมูลที่แบ่งส่วนสำหรับผู้ปฏิบัติงานที่ดัชนี สิ่งนี้จะพยายามแบ่งชุดข้อมูลโดยอัตโนมัติโดยตรวจสอบกราฟชุดข้อมูลและแทรก shard op ก่อนอินพุตไปยังชุดข้อมูลของผู้อ่าน (เช่น CSVDataset, TFRecordDataset)

ชุดข้อมูลนี้จะทำให้เกิดข้อผิดพลาด NotFound หากเราไม่สามารถแบ่งชุดข้อมูลได้โดยอัตโนมัติ

คลาสที่ซ้อนกัน

ระดับ AutoShardDataset ตัวเลือก แอตทริบิวต์เพิ่มเติมสำหรับ AutoShardDataset

ค่าคงที่

สตริง OP_NAME ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow

วิธีการสาธารณะ

เอาท์พุต < ชนิด T >
เป็นเอาท์พุต ()
ส่งกลับค่าแฮนเดิลสัญลักษณ์ของเทนเซอร์
AutoShardDataset.Options แบบคงที่
autoShardPolicy (autoShardPolicy แบบยาว)
ชุดข้อมูล AutoShard แบบคงที่
สร้าง ( ขอบเขต ขอบเขต ตัวดำเนินการ <?> inputDataset, ตัวดำเนินการ < TInt64 > numWorkers, ตัวดำเนินการ < TInt64 > ดัชนี, รายการ<Class<? ขยาย TType >> ประเภทเอาต์พุต, รายการ< รูปร่าง > รูปร่างเอาต์พุต, ตัวเลือก... ตัวเลือก)
วิธีการจากโรงงานเพื่อสร้างคลาสที่ห่อการดำเนินการ AutoShardDataset ใหม่
เอาท์พุต <?>

วิธีการสืบทอด

ค่าคงที่

สตริงสุดท้ายแบบคงที่สาธารณะ OP_NAME

ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow

ค่าคงที่: "ชุดข้อมูล AutoShard แบบทดลอง"

วิธีการสาธารณะ

เอาท์ พุท สาธารณะ < TType > asOutput ()

ส่งกลับค่าแฮนเดิลสัญลักษณ์ของเทนเซอร์

อินพุตสำหรับการดำเนินการ TensorFlow คือเอาต์พุตของการดำเนินการ TensorFlow อื่น วิธีการนี้ใช้เพื่อรับหมายเลขอ้างอิงสัญลักษณ์ที่แสดงถึงการคำนวณอินพุต

AutoShardDataset แบบคงที่สาธารณะ ตัวเลือก autoShardPolicy (autoShardPolicy แบบยาว)

การสร้าง AutoShardDataset แบบคงที่สาธารณะ (ขอบเขต ขอบเขต , ตัวดำเนินการ <?> inputDataset, ตัวดำเนินการ < TInt64 > numWorkers, ตัวดำเนินการ < TInt64 > ดัชนี, รายการ<Class<? ขยาย TType >> outputTypes, รายการ< รูปร่าง > outputShapes, ตัวเลือก... ตัวเลือก)

วิธีการจากโรงงานเพื่อสร้างคลาสที่ห่อการดำเนินการ AutoShardDataset ใหม่

พารามิเตอร์
ขอบเขต ขอบเขตปัจจุบัน
ชุดข้อมูลอินพุต เทนเซอร์ตัวแปรที่แสดงถึงชุดข้อมูลอินพุต
numWorkers สเกลาร์ที่แสดงจำนวนคนทำงานเพื่อกระจายชุดข้อมูลนี้ไป
ดัชนี สเกลาร์ที่แสดงดัชนีของผู้ปฏิบัติงานปัจจุบันจาก num_workers
ตัวเลือก มีค่าแอตทริบิวต์ทางเลือก
การส่งคืน
  • อินสแตนซ์ใหม่ของ AutoShardDataset

เอาท์ พุท สาธารณะ <?> จัดการ ()