GPU समर्थन

नोट: GPU समर्थन CUDA®- सक्षम कार्ड के साथ उबंटू और विंडोज के लिए उपलब्ध है।

TensorFlow GPU के समर्थन के लिए ड्राइवरों और पुस्तकालयों के वर्गीकरण की आवश्यकता होती है। स्थापना को सरल बनाने और पुस्तकालय संघर्ष से बचने के लिए, हम GPU समर्थन (केवल लिनक्स) के साथ एक TensorFlow Docker छवि का उपयोग करने की सलाह देते हैं। इस सेटअप के लिए केवल NVIDIA® GPU ड्राइवरों की आवश्यकता है।

ये स्थापित निर्देश TensorFlow की नवीनतम रिलीज़ के लिए हैं। पुराने TensorFlow रिलीज के साथ उपयोग करने के लिए CUDA® और cuDNN संस्करणों के लिए परीक्षण निर्मित कॉन्फ़िगरेशन देखें।

पिप पैकेज

उपलब्ध पैकेज, सिस्टम आवश्यकताओं और निर्देशों के लिए पाइप इंस्टॉल गाइड देखें। TensorFlow pip पैकेज में CUDA®- सक्षम कार्ड के लिए GPU समर्थन शामिल है:

pip install tensorflow

यह गाइड नवीनतम स्थिर TensorFlow रिलीज के लिए GPU समर्थन और स्थापना चरणों को कवर करता है।

TensorFlow के पुराने संस्करण

1.15 और पुराने रिलीज के लिए, सीपीयू और जीपीयू पैकेज अलग हैं:

pip install tensorflow==1.15      # CPU
pip install tensorflow-gpu==1.15  # GPU

है

हार्डवेयर आवश्यकताएँ

निम्न GPU- सक्षम डिवाइस समर्थित हैं:

• CUDA® आर्किटेक्चर 3.5, 5.0, 6.0, 7.0, 7.5, 8.0 और 8.0 से अधिक के साथ NVIDIA® GPU कार्ड। CUDA®- सक्षम GPU कार्ड की सूची देखें।
• असमर्थित CUDA® आर्किटेक्चर के साथ GPU के लिए, या PTX से JIT संकलन से बचने के लिए, या NVIDIA® पुस्तकालयों के विभिन्न संस्करणों का उपयोग करने के लिए, सोर्स गाइड से लिनक्स का निर्माण देखें।
• पैकेज में नवीनतम समर्थित CUDA® आर्किटेक्चर को छोड़कर PTX कोड शामिल नहीं है; इसलिए, CUDA_FORCE_PTX_JIT CUDA_FORCE_PTX_JIT=1 सेट होने पर CUDA_FORCE_PTX_JIT=1 पुराने GPU पर लोड करने में विफल रहता है। (विवरण के लिए आवेदन संगतता देखें।)

नोट: त्रुटि संदेश "स्थिति: डिवाइस कर्नेल छवि अमान्य है" इंगित करता है कि TensorFlow पैकेज में आपके आर्किटेक्चर के लिए PTX नहीं है। आप स्रोत से TensorFlow का निर्माण करके गणना क्षमताओं को सक्षम कर सकते हैं।

सॉफ़्टवेयर आवश्यकताएं

निम्नांकित NVIDIA® सॉफ्टवेयर को आपके सिस्टम पर संस्थापित होना चाहिए:

• NVIDIA® GPU के ड्राइवर —CUDA® 11.0 को 450.x या उससे अधिक की आवश्यकता होती है।
• CUDA® टूलकिट- TensorFlow CUDA® 11 का समर्थन करता है (TensorFlow> = 2.4.0)
• CUPA® टूलकिट के साथ CUPTI जहाज।
• cuDNN SDK 8.0.4 cuDNN संस्करण )।
• (वैकल्पिक) TensorRT 6.0 कुछ मॉडलों पर अनुमान के लिए विलंबता और थ्रूपुट में सुधार करने के लिए।

लिनक्स सेटअप

नीचे दिए गए apt निर्देश उबंटू पर आवश्यक NVIDIA सॉफ़्टवेयर स्थापित करने का सबसे आसान तरीका है। हालाँकि, यदि स्रोत से TensorFlow का निर्माण हो रहा है , तो मैन्युअल रूप से ऊपर सूचीबद्ध सॉफ़्टवेयर आवश्यकताओं को स्थापित करें, और आधार के रूप में -devel TensorFlow Docker छवि का उपयोग करने पर विचार करें।

CUPTI स्थापित करें जो CUDA® टूलकिट के साथ जहाज करता है। अपनी स्थापना निर्देशिका को $LD_LIBRARY_PATH पर्यावरण चर में जोड़ें:

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/extras/CUPTI/lib64

उपयुक्त के साथ CUDA स्थापित करें

यह खंड दिखाता है कि Ubuntu 16.04 और 18.04 पर CUDA® 10 (TensorFlow> = 1.13.0) कैसे स्थापित किया जाए। ये निर्देश अन्य डेबियन-आधारित डिस्ट्रोस के लिए काम कर सकते हैं।

सावधानी: सुरक्षित बूट NVIDIA चालक की स्थापना को जटिल बनाता है और इन निर्देशों के दायरे से परे है।

Ubuntu 18.04 (CUDA 11.0)

# Add NVIDIA package repositories
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pin
sudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/ /"
sudo apt-get update

wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb

sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt-get update

# Install NVIDIA driver
sudo apt-get install --no-install-recommends nvidia-driver-450
# Reboot. Check that GPUs are visible using the command: nvidia-smi

wget https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/libnvinfer7_7.1.3-1+cuda11.0_amd64.deb
sudo apt install ./libnvinfer7_7.1.3-1+cuda11.0_amd64.deb
sudo apt-get update

# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends \
    cuda-11-0 \
    libcudnn8=8.0.4.30-1+cuda11.0  \
    libcudnn8-dev=8.0.4.30-1+cuda11.0


# Install TensorRT. Requires that libcudnn8 is installed above.
sudo apt-get install -y --no-install-recommends libnvinfer7=7.1.3-1+cuda11.0 \
    libnvinfer-dev=7.1.3-1+cuda11.0 \
    libnvinfer-plugin7=7.1.3-1+cuda11.0

Ubuntu 16.04 (CUDA 11.0)

# Add NVIDIA package repositories
# Add HTTPS support for apt-key
sudo apt-get install gnupg-curl
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-ubuntu1604.pin
sudo mv cuda-ubuntu1604.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/ /"
sudo apt-get update
wget https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt-get update
wget https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/libnvinfer7_7.1.3-1+cuda11.0_amd64.deb
sudo apt install ./libnvinfer7_7.1.3-1+cuda11.0_amd64.deb
sudo apt-get update

# Install NVIDIA driver
# Issue with driver install requires creating /usr/lib/nvidia
sudo mkdir /usr/lib/nvidia
sudo apt-get install --no-install-recommends nvidia-driver-450
# Reboot. Check that GPUs are visible using the command: nvidia-smi

# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends \
    cuda-11-0 \
    libcudnn8=8.0.4.30-1+cuda11.0  \
    libcudnn8-dev=8.0.4.30-1+cuda11.0


# Install TensorRT. Requires that libcudnn7 is installed above.
sudo apt-get install -y --no-install-recommends \
    libnvinfer7=7.1.3-1+cuda11.0 \
    libnvinfer-dev=7.1.3-1+cuda11.0 \
    libnvinfer-plugin7=7.1.3-1+cuda11.0 \
    libnvinfer-plugin-dev=7.1.3-1+cuda11.0

विंडोज सेटअप

ऊपर सूचीबद्ध हार्डवेयर आवश्यकताएँ और सॉफ़्टवेयर आवश्यकताएँ देखें। विंडोज के लिए CUDA® इंस्टॉल गाइड पढ़ें।

सुनिश्चित करें कि स्थापित NVIDIA सॉफ़्टवेयर पैकेज ऊपर सूचीबद्ध संस्करणों से मेल खाते हैं। विशेष रूप से, TensorFlow cuDNN64_8.dll फ़ाइल के बिना लोड नहीं होगा। एक अलग संस्करण का उपयोग करने के लिए, स्रोत गाइड से विंडोज का निर्माण देखें।

%PATH% पर्यावरण चर में CUDA®, CUPTI और cuDNN संस्थापन निर्देशिकाओं को जोड़ें। उदाहरण के लिए, अगर CUDA® टूलकिट C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0 और cuDNN से C:\tools\cuda , तो अपने %PATH% को मैच के लिए अपडेट करें:

SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\extras\CUPTI\lib64;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\include;%PATH%
SET PATH=C:\tools\cuda\bin;%PATH%