Construire à partir des sources sous Windows,Construire à partir des sources sous Windows

Créez un package pip TensorFlow à partir des sources et installez-le sur Windows.

Remarque : Nous proposons déjà des packages TensorFlow prédéfinis et bien testés pour les systèmes Windows.

Configuration pour Windows

Installez les outils de build suivants pour configurer votre environnement de développement Windows.

Installer Python et les dépendances du package TensorFlow

Installez une version Python 3.9+ 64 bits pour Windows . Sélectionnez pip comme fonctionnalité facultative et ajoutez-le à votre variable d'environnement %PATH% .

Installez les dépendances du package pip TensorFlow :

pip3 install -U six numpy wheel packaging
pip3 install -U keras_preprocessing --no-deps

Les dépendances sont répertoriées dans le fichier setup.py sous REQUIRED_PACKAGES .

Installer Bazel

Installez Bazel , l'outil de build utilisé pour compiler TensorFlow. Pour la version Bazel, consultez les configurations de build testées pour Windows. Configurez Bazel pour construire C++ .

Ajoutez l'emplacement de l'exécutable Bazel à votre variable d'environnement %PATH% .

Installer MSYS2

Installez MSYS2 pour les outils bin nécessaires à la création de TensorFlow. Si MSYS2 est installé sur C:\msys64 , ajoutez C:\msys64\usr\bin à votre variable d'environnement %PATH% . Ensuite, en utilisant cmd.exe , exécutez :

pacman -S git patch unzip

Installer les outils de génération Visual C++ 2019

Installez les outils de build Visual C++ 2019 . Ceci est fourni avec Visual Studio 2019 mais peut être installé séparément :

1. Accédez aux téléchargements de Visual Studio ,
2. Sélectionnez Redistribuables et outils de construction ,
3. Télécharger et installer:
   • Microsoft Visual C++ 2019 redistribuable
   • Outils de construction Microsoft 2019

Remarque : TensorFlow est testé par rapport à Visual Studio 2019 .

Installer la prise en charge du GPU (facultatif)

Consultez le guide de prise en charge du GPU Windows pour installer les pilotes et les logiciels supplémentaires requis pour exécuter TensorFlow sur un GPU.

Remarque : la prise en charge du GPU sur Windows natif n'est disponible que pour les versions 2.10 ou antérieures. À partir de TF 2.11, la version CUDA n'est pas prise en charge pour Windows. Pour utiliser le GPU TensorFlow sous Windows, vous devrez créer/installer TensorFlow dans WSL2 ou utiliser tensorflow-cpu avec TensorFlow-DirectML-Plugin

Téléchargez le code source de TensorFlow

Utilisez Git pour cloner le référentiel TensorFlow ( git est installé avec MSYS2) :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

Le dépôt est par défaut la branche de développement master . Vous pouvez également consulter une branche de publication pour construire :

git checkout branch_name  # r1.9, r1.10, etc.

Point clé : si vous rencontrez des problèmes de build sur la dernière branche de développement, essayez une branche de version connue pour fonctionner.

Facultatif : configuration des variables environnementales

Exécutez les commandes suivantes avant d'exécuter la commande build pour éviter tout problème de création de package : (Si les commandes ci-dessous ont été configurées lors de l'installation des packages, veuillez les ignorer). Exécutez set vérifiez si tous les chemins ont été définis correctement, exécutez echo %Environmental Variable% par exemple echo %BAZEL_VC% pour vérifier le chemin configuré pour une variable environnementale spécifique.

Problème de configuration du chemin Python tensorflow:issue#59943 , tensorflow:issue#9436 , tensorflow:issue#60083

set PATH=path/to/python # [e.g. (C:/Python310)]
set PATH=path/to/python/Scripts # [e.g. (C:/Python310/Scripts)] 
set PYTHON_BIN_PATH=path/to/python_virtualenv/Scripts/python.exe 
set PYTHON_LIB_PATH=path/to/python virtualenv/lib/site-packages 
set PYTHON_DIRECTORY=path/to/python_virtualenv/Scripts 

Problème de configuration du chemin Bazel/MSVC tensorflow : problème n° 54578

set BAZEL_SH=C:/msys64/usr/bin/bash.exe 
set BAZEL_VS=C:/Program Files(x86)/Microsoft Visual Studio/2019/BuildTools 
set BAZEL_VC=C:/Program Files(x86)/Microsoft Visual Studio/2019/BuildTools/VC 

Facultatif : Configurer la build

Les builds TensorFlow sont configurées par le fichier .bazelrc dans le répertoire racine du référentiel. Les scripts ./configure ou ./configure.py peuvent être utilisés pour ajuster les paramètres communs.

Si vous devez modifier la configuration, exécutez le script ./configure à partir du répertoire racine du référentiel.

python ./configure.py

Ce script vous demande l'emplacement des dépendances TensorFlow et demande des options de configuration de build supplémentaires (indicateurs du compilateur, par exemple). Ce qui suit montre un exemple d'exécution de python ./configure.py (votre session peut différer) :

Afficher un exemple de session de configuration

python ./configure.py
You have bazel 5.3.0 installed.
Please specify the location of python. [Default is C:\Python310\python.exe]:
Found possible Python library paths:
C:\Python310\lib\site-packages
Please input the desired Python library path to use.  Default is [C:\Python310\lib\site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.


Warning: Cannot build with CUDA support on Windows.
Starting in TF 2.11, CUDA build is not supported for Windows. For using TensorFlow GPU on Windows, you will need to build/install TensorFlow in WSL2.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is /arch:AVX]:


Would you like to override eigen strong inline for some C++ compilation to reduce the compilation time? [Y/n]:
Eigen strong inline overridden.

Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]:
Not configuring the WORKSPACE for Android builds.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
        --config=mkl            # Build with MKL support.
        --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
        --config=monolithic     # Config for mostly static monolithic build.
        --config=numa           # Build with NUMA support.
        --config=dynamic_kernels        # (Experimental) Build kernels into separate shared objects.
        --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
        --config=nogcp          # Disable GCP support.
        --config=nonccl         # Disable NVIDIA NCCL support.

Construire et installer le package pip

Le package pip est construit en deux étapes. Une commande bazel build crée un programme "package-builder". Vous exécutez ensuite le package-builder pour créer le package.

Construire le générateur de packages

tensorflow:master repo a été mis à jour pour construire 2.x par défaut. Installez Bazel et utilisez bazel build pour créer le générateur de packages TensorFlow.

bazel build //tensorflow/tools/pip_package:build_pip_package

CPU uniquement

Utilisez bazel pour créer le générateur de packages TensorFlow avec une prise en charge du processeur uniquement :

bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package

Prise en charge des GPU

Remarque : la prise en charge du GPU sur Windows natif n'est disponible que pour les versions 2.10 ou antérieures. À partir de TF 2.11, la version CUDA n'est pas prise en charge pour Windows. Pour utiliser le GPU TensorFlow sous Windows, vous devrez créer/installer TensorFlow dans WSL2 ou utiliser tensorflow-cpu avec TensorFlow-DirectML-Plugin

Pour créer le générateur de packages TensorFlow avec prise en charge GPU :

bazel build --config=opt --config=cuda --define=no_tensorflow_py_deps=true //tensorflow/tools/pip_package:build_pip_package

Commandes pour nettoyer le cache Bazel pour résoudre les erreurs dues à des données mises en cache invalides ou obsolètes, Bazel Clean avec l'indicateur --expunge supprime les fichiers définitivement

bazel clean 
bazel clean --expunge  

Options de construction de Bazel

Utilisez cette option lors de la construction pour éviter tout problème avec la création du package : tensorflow:issue#22390

--define=no_tensorflow_py_deps=true

Consultez la référence de la ligne de commande Bazel pour les options de construction .

Construire TensorFlow à partir des sources peut utiliser beaucoup de RAM. Si votre système est limité en mémoire, limitez l'utilisation de la RAM de Bazel avec : --local_ram_resources=2048 .

Si vous construisez avec la prise en charge du GPU, ajoutez --copt=-nvcc_options=disable-warnings pour supprimer les messages d'avertissement nvcc.

Construire le package

La commande bazel build crée un exécutable nommé build_pip_package : il s'agit du programme qui construit le package pip . Par exemple, ce qui suit crée un package .whl dans le répertoire C:/tmp/tensorflow_pkg :

bazel-bin\tensorflow\tools\pip_package\build_pip_package C:/tmp/tensorflow_pkg

Bien qu'il soit possible de créer des configurations CUDA et non-CUDA sous la même arborescence source, nous vous recommandons d'exécuter bazel clean lors du basculement entre ces deux configurations dans la même arborescence source.

Installer le paquet

Le nom de fichier du fichier .whl généré dépend de la version de TensorFlow et de votre plate-forme. Utilisez pip3 install pour installer le package, par exemple :

pip3 install C:/tmp/tensorflow_pkg/tensorflow-version-tags.whl

e.g. pip3 install C:/tmp/tensorflow_pkg/tensorflow-2.12.0-cp310-cp310-win_amd64.whl

Succès : TensorFlow est maintenant installé.

Construire à l'aide du shell MSYS

TensorFlow peut également être créé à l'aide du shell MSYS. Apportez les modifications répertoriées ci-dessous, puis suivez les instructions précédentes pour la ligne de commande native de Windows ( cmd.exe ).

Désactiver la conversion de chemin MSYS

MSYS convertit automatiquement les arguments qui ressemblent à des chemins Unix en chemins Windows, et cela ne fonctionne pas avec bazel . (L'étiquette //path/to:bin est considérée comme un chemin absolu Unix puisqu'elle commence par une barre oblique.)

export MSYS_NO_PATHCONV=1
export MSYS2_ARG_CONV_EXCL="*"

Définissez votre CHEMIN

Ajoutez les répertoires d'installation Bazel et Python à votre variable d'environnement $PATH . Si Bazel est installé sur C:\tools\bazel.exe et Python sur C:\Python\python.exe , définissez votre PATH avec :

# Use Unix-style with ':' as separator
export PATH="/c/tools:$PATH"
export PATH="/c/path/to/Python:$PATH"

Pour la prise en charge GPU, ajoutez les répertoires bin CUDA et cuDNN à votre $PATH :

export PATH="/c/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.0/bin:$PATH"
export PATH="/c/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.0/extras/CUPTI/libx64:$PATH"
export PATH="/c/tools/cuda/bin:$PATH"

Remarque : à partir de TF 2.11, la version CUDA n'est pas prise en charge pour Windows. Pour utiliser le GPU TensorFlow sous Windows, vous devrez créer/installer TensorFlow dans WSL2 ou utiliser tensorflow-cpu avec TensorFlow-DirectML-Plugin

Configurations de build testées

CPU

Version	Version Python	Compilateur	Construire des outils
tensorflow-2.14.0	3.9-3.11	MSVC 2019	Bazel 6.1.0
tensorflow-2.12.0	3.8-3.11	MSVC 2019	Bazel 5.3.0
tensorflow-2.11.0	3.7-3.10	MSVC 2019	Bazel 5.3.0
tensorflow-2.10.0	3.7-3.10	MSVC 2019	Bazel 5.1.1
tensorflow-2.9.0	3.7-3.10	MSVC 2019	Bazel 5.0.0
tensorflow-2.8.0	3.7-3.10	MSVC 2019	Bazel 4.2.1
tensorflow-2.7.0	3,7-3,9	MSVC 2019	Bazel 3.7.2
tensorflow-2.6.0	3.6-3.9	MSVC 2019	Bazel 3.7.2
tensorflow-2.5.0	3.6-3.9	MSVC 2019	Bazel 3.7.2
tensorflow-2.4.0	3,6-3,8	MSVC 2019	Bazel 3.1.0
tensorflow-2.3.0	3,5-3,8	MSVC 2019	Bazel 3.1.0
tensorflow-2.2.0	3,5-3,8	MSVC 2019	Bazel 2.0.0
tensorflow-2.1.0	3,5-3,7	MSVC 2019	Bazel 0.27.1-0.29.1
tensorflow-2.0.0	3,5-3,7	MSVC 2017	Bazel 0.26.1
tensorflow-1.15.0	3,5-3,7	MSVC 2017	Bazel 0.26.1
tensorflow-1.14.0	3,5-3,7	MSVC 2017	Bazel 0.24.1-0.25.2
tensorflow-1.13.0	3,5-3,7	MSVC 2015 mise à jour 3	Bazel 0.19.0-0.21.0
tensorflow-1.12.0	3,5-3,6	MSVC 2015 mise à jour 3	Bazel 0.15.0
tensorflow-1.11.0	3,5-3,6	MSVC 2015 mise à jour 3	Bazel 0.15.0
tensorflow-1.10.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3
tensorflow-1.9.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3
tensorflow-1.8.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3
tensorflow-1.7.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3
tensorflow-1.6.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3
tensorflow-1.5.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3
tensorflow-1.4.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3
tensorflow-1.3.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3
tensorflow-1.2.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3
tensorflow-1.1.0	3.5	MSVC 2015 mise à jour 3	Cmake v3.6.3
tensorflow-1.0.0	3.5	MSVC 2015 mise à jour 3	Cmake v3.6.3

GPU

Remarque : la prise en charge du GPU sur Windows natif n'est disponible que pour les versions 2.10 ou antérieures. À partir de TF 2.11, la version CUDA n'est pas prise en charge pour Windows. Pour utiliser le GPU TensorFlow sous Windows, vous devrez créer/installer TensorFlow dans WSL2 ou utiliser tensorflow-cpu avec TensorFlow-DirectML-Plugin

Version	Version Python	Compilateur	Construire des outils	cuDNN	CUDA
tensorflow_gpu-2.10.0	3.7-3.10	MSVC 2019	Bazel 5.1.1	8.1	11.2
tensorflow_gpu-2.9.0	3.7-3.10	MSVC 2019	Bazel 5.0.0	8.1	11.2
tensorflow_gpu-2.8.0	3.7-3.10	MSVC 2019	Bazel 4.2.1	8.1	11.2
tensorflow_gpu-2.7.0	3,7-3,9	MSVC 2019	Bazel 3.7.2	8.1	11.2
tensorflow_gpu-2.6.0	3.6-3.9	MSVC 2019	Bazel 3.7.2	8.1	11.2
tensorflow_gpu-2.5.0	3.6-3.9	MSVC 2019	Bazel 3.7.2	8.1	11.2
tensorflow_gpu-2.4.0	3,6-3,8	MSVC 2019	Bazel 3.1.0	8.0	11.0
tensorflow_gpu-2.3.0	3,5-3,8	MSVC 2019	Bazel 3.1.0	7.6	10.1
tensorflow_gpu-2.2.0	3,5-3,8	MSVC 2019	Bazel 2.0.0	7.6	10.1
tensorflow_gpu-2.1.0	3,5-3,7	MSVC 2019	Bazel 0.27.1-0.29.1	7.6	10.1
tensorflow_gpu-2.0.0	3,5-3,7	MSVC 2017	Bazel 0.26.1	7.4	dix
tensorflow_gpu-1.15.0	3,5-3,7	MSVC 2017	Bazel 0.26.1	7.4	dix
tensorflow_gpu-1.14.0	3,5-3,7	MSVC 2017	Bazel 0.24.1-0.25.2	7.4	dix
tensorflow_gpu-1.13.0	3,5-3,7	MSVC 2015 mise à jour 3	Bazel 0.19.0-0.21.0	7.4	dix
tensorflow_gpu-1.12.0	3,5-3,6	MSVC 2015 mise à jour 3	Bazel 0.15.0	7.2	9.0
tensorflow_gpu-1.11.0	3,5-3,6	MSVC 2015 mise à jour 3	Bazel 0.15.0	7	9
tensorflow_gpu-1.10.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3	7	9
tensorflow_gpu-1.9.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3	7	9
tensorflow_gpu-1.8.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3	7	9
tensorflow_gpu-1.7.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3	7	9
tensorflow_gpu-1.6.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3	7	9
tensorflow_gpu-1.5.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3	7	9
tensorflow_gpu-1.4.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3	6	8
tensorflow_gpu-1.3.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3	6	8
tensorflow_gpu-1.2.0	3,5-3,6	MSVC 2015 mise à jour 3	Cmake v3.6.3	5.1	8
tensorflow_gpu-1.1.0	3.5	MSVC 2015 mise à jour 3	Cmake v3.6.3	5.1	8
tensorflow_gpu-1.0.0	3.5	MSVC 2015 mise à jour 3	Cmake v3.6.3	5.1	8