GPU समर्थन

TensorFlow GPU के समर्थन के लिए ड्राइवरों और पुस्तकालयों के वर्गीकरण की आवश्यकता होती है। स्थापना को सरल बनाने और पुस्तकालय संघर्ष से बचने के लिए, हम GPU समर्थन (केवल लिनक्स) के साथ एक TensorFlow Docker छवि का उपयोग करने की सलाह देते हैं। इस सेटअप के लिए केवल NVIDIA® GPU ड्राइवरों की आवश्यकता है।

ये स्थापित निर्देश TensorFlow की नवीनतम रिलीज़ के लिए हैं। पुराने TensorFlow रिलीज के साथ उपयोग करने के लिए CUDA® और cuDNN संस्करणों के लिए परीक्षण निर्मित कॉन्फ़िगरेशन देखें।

पिप पैकेज

उपलब्ध पैकेज, सिस्टम आवश्यकताओं और निर्देशों के लिए पाइप इंस्टॉल गाइड देखें। TensorFlow pip पैकेज में CUDA®- सक्षम कार्ड के लिए GPU समर्थन शामिल है:

pip install tensorflow

यह गाइड नवीनतम स्थिर TensorFlow रिलीज के लिए GPU समर्थन और स्थापना चरणों को कवर करता है।

TensorFlow के पुराने संस्करण

1.15 और पुराने रिलीज के लिए, सीपीयू और जीपीयू पैकेज अलग हैं:

pip install tensorflow==1.15      # CPU
pip install tensorflow-gpu==1.15  # GPU

हार्डवेयर आवश्यकताएँ

निम्न GPU- सक्षम डिवाइस समर्थित हैं:

CUDA® आर्किटेक्चर 3.5, 3.7, 5.2, 6.0, 6.1, 7.0 और 7.0 से अधिक के साथ NVIDIA® GPU कार्ड। CUDA®- सक्षम GPU कार्ड की सूची देखें।
NVIDIA® Ampere GPUs (CUDA आर्किटेक्चर 8.0) या नए के साथ सिस्टम पर, kernels JIT- PTX से संकलित हैं और TensorFlow को शुरू होने में 30 मिनट से अधिक समय लग सकता है। यह ओवरहेड डिफ़ॉल्ट JIT कैश आकार को बढ़ाकर पहली शुरुआत तक सीमित किया जा सकता है: ' export CUDA_CACHE_MAXSIZE=2147483648 ' export CUDA_CACHE_MAXSIZE=2147483648 (विवरण के लिए JIT कैशिंग देखें)।
असमर्थित CUDA® आर्किटेक्चर के साथ GPU के लिए, या PTX से JIT संकलन से बचने के लिए, या NVIDIA® पुस्तकालयों के विभिन्न संस्करणों का उपयोग करने के लिए, सोर्स गाइड से लिनक्स का निर्माण देखें।
पैकेज में नवीनतम समर्थित CUDA® आर्किटेक्चर को छोड़कर PTX कोड शामिल नहीं है; इसलिए, CENSA_FORCE_PTX_JIT CUDA_FORCE_PTX_JIT=1 के सेट होने पर CUDA_FORCE_PTX_JIT=1 पुराने GPUs पर लोड होने में विफल रहता है। (विवरण के लिए आवेदन संगतता देखें।)

सॉफ़्टवेयर आवश्यकताएं

निम्नलिखित NVIDIA® सॉफ्टवेयर आपके सिस्टम पर स्थापित होना चाहिए:

NVIDIA® GPU के ड्राइवर —CUDA® 10.1 को 418.x या उससे अधिक की आवश्यकता है।
CUDA® टूलकिट- TensorFlow CUDA® 10.1 (TensorFlow> = 2.1.0) का समर्थन करता है
CUPA® टूलकिट के साथ CUPTI जहाज।
cuDNN SDK 7.6 ( cuDNN संस्करण देखें)।
(वैकल्पिक) TensorRT 6.0 कुछ मॉडलों पर अनुमान के लिए विलंबता और थ्रूपुट में सुधार करने के लिए।

लिनक्स सेटअप

नीचे दिए गए apt निर्देश उबंटू पर आवश्यक NVIDIA सॉफ़्टवेयर स्थापित करने का सबसे आसान तरीका है। हालाँकि, यदि स्रोत से TensorFlow का निर्माण हो रहा है , तो मैन्युअल रूप से ऊपर सूचीबद्ध सॉफ़्टवेयर आवश्यकताओं को स्थापित करें, और आधार के रूप में -devel TensorFlow Docker छवि का उपयोग करने पर विचार करें।

CUPTI स्थापित करें जो CUDA® टूलकिट के साथ जहाज करता है। अपनी स्थापना निर्देशिका को $LD_LIBRARY_PATH पर्यावरण चर में जोड़ें:

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/extras/CUPTI/lib64

उपयुक्त के साथ CUDA स्थापित करें

यह खंड दिखाता है कि Ubuntu 16.04 और 18.04 पर CUDA® 10 (TensorFlow> = 1.13.0) कैसे स्थापित किया जाए। ये निर्देश अन्य डेबियन-आधारित डिस्ट्रोस के लिए काम कर सकते हैं।

Ubuntu 18.04 (CUDA 10.1)

# Add NVIDIA package repositories
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.1.243-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo dpkg -i cuda-repo-ubuntu1804_10.1.243-1_amd64.deb
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt-get update

# Install NVIDIA driver
sudo apt-get install --no-install-recommends nvidia-driver-450
# Reboot. Check that GPUs are visible using the command: nvidia-smi

# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends \
    cuda-10-1 \
    libcudnn7=7.6.5.32-1+cuda10.1  \
    libcudnn7-dev=7.6.5.32-1+cuda10.1


# Install TensorRT. Requires that libcudnn7 is installed above.
sudo apt-get install -y --no-install-recommends libnvinfer6=6.0.1-1+cuda10.1 \
    libnvinfer-dev=6.0.1-1+cuda10.1 \
    libnvinfer-plugin6=6.0.1-1+cuda10.1

Ubuntu 16.04 (CUDA 10.1)

# Add NVIDIA package repositories
# Add HTTPS support for apt-key
sudo apt-get install gnupg-curl
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_10.1.243-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
sudo dpkg -i cuda-repo-ubuntu1604_10.1.243-1_amd64.deb
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt-get update

# Install NVIDIA driver
# Issue with driver install requires creating /usr/lib/nvidia
sudo mkdir /usr/lib/nvidia
sudo apt-get install --no-install-recommends nvidia-418
# Reboot. Check that GPUs are visible using the command: nvidia-smi

# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends \
    cuda-10-1 \
    libcudnn7=7.6.4.38-1+cuda10.1  \
    libcudnn7-dev=7.6.4.38-1+cuda10.1


# Install TensorRT. Requires that libcudnn7 is installed above.
sudo apt-get install -y --no-install-recommends \
    libnvinfer6=6.0.1-1+cuda10.1 \
    libnvinfer-dev=6.0.1-1+cuda10.1 \
    libnvinfer-plugin6=6.0.1-1+cuda10.1

विंडोज सेटअप

ऊपर सूचीबद्ध हार्डवेयर आवश्यकताएँ और सॉफ़्टवेयर आवश्यकताएँ देखें। विंडोज के लिए CUDA® इंस्टॉल गाइड पढ़ें।

सुनिश्चित करें कि स्थापित NVIDIA सॉफ़्टवेयर पैकेज ऊपर सूचीबद्ध संस्करणों से मेल खाते हैं। विशेष रूप से, TensorFlow cuDNN64_7.dll फ़ाइल के बिना लोड नहीं होगा। एक अलग संस्करण का उपयोग करने के लिए, स्रोत गाइड से विंडोज का निर्माण देखें।

%PATH% पर्यावरण चर में CUDA®, CUPTI और cuDNN संस्थापन निर्देशिकाओं को जोड़ें। उदाहरण के लिए, यदि CUDA® टूलकिट C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1 और C:\tools\cuda Tools C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1 , तो अपने %PATH% को मैच के लिए अपडेट करें:

SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\extras\CUPTI\lib64;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\include;%PATH%
SET PATH=C:\tools\cuda\bin;%PATH%