ชั้นเรียน
NcclAllReduce <T ขยาย TNumber > | เอาท์พุตเทนเซอร์ที่มีการลดลงในเทนเซอร์อินพุตทั้งหมด |
NcclBroadcast <T ขยาย TNumber > | ส่ง 'อินพุต' ไปยังอุปกรณ์ทั้งหมดที่เชื่อมต่อกับเอาต์พุต |
NcclReduce <T ขยาย TNumber > | ลด "อินพุต" จาก "num_devices" โดยใช้ "การลด" ลงในอุปกรณ์เครื่องเดียว |