이 페이지는 Cloud Translation API를 통해 번역되었습니다.

Kubernetes와 함께 TensorFlow Serving 사용

이 튜토리얼에서는 Docker 컨테이너에서 실행되는 TensorFlow Serving 구성 요소를 사용하여 TensorFlow ResNet 모델을 제공하는 방법과 Kubernetes를 사용하여 제공 클러스터를 배포하는 방법을 보여줍니다.

TensorFlow Serving에 대해 자세히 알아보려면 TensorFlow Serving 기본 자습서 및 TensorFlow Serving 고급 자습서를 권장합니다.

TensorFlow ResNet 모델에 대해 자세히 알아보려면 TensorFlow의 ResNet을 읽어 보시기 바랍니다.

1부에서는 환경 설정을 가져옵니다.
2부에서는 로컬 Docker 제공 이미지를 실행하는 방법을 보여줍니다.
3부 에서는 Kubernetes에 배포하는 방법을 보여줍니다.

파트 1: 설정

시작하기 전에 먼저 Docker를 설치하세요 .

ResNet 저장된 모델 다운로드

이미 로컬 모델 디렉토리가 있는 경우 로컬 모델 디렉토리를 삭제해 보겠습니다.

rm -rf /tmp/resnet

심층 잔차 네트워크(Deep Residual Networks, 줄여서 ResNets)는 매우 심층적인 컨벌루션 신경망을 훈련할 수 있도록 ID 매핑이라는 획기적인 아이디어를 제공했습니다. 이 예에서는 ImageNet 데이터 세트에 대한 ResNet의 TensorFlow SavedModel을 다운로드합니다.

# Download Resnet model from TF Hub
wget https://tfhub.dev/tensorflow/resnet_50/classification/1?tf-hub-format=compressed -o resnet.tar.gz

# Extract SavedModel into a versioned subfolder ‘123’
mkdir -p /tmp/resnet/123
tar xvfz resnet.tar.gz -C /tmp/resnet/123/

저장된 모델이 있는지 확인할 수 있습니다.

$ ls /tmp/resnet/*
saved_model.pb  variables

2부: Docker에서 실행

배포용 이미지 커밋

이제 제공 이미지를 가져와 Kubernetes 배포를 위한 새 이미지 $USER/resnet_serving 에 대한 모든 변경 사항을 커밋 하려고 합니다.

먼저 제공 이미지를 데몬으로 실행합니다.

docker run -d --name serving_base tensorflow/serving

다음으로 ResNet 모델 데이터를 컨테이너의 모델 폴더에 복사합니다.

docker cp /tmp/resnet serving_base:/models/resnet

마지막으로 ResNet 모델을 제공하기 위해 컨테이너를 커밋합니다.

docker commit --change "ENV MODEL_NAME resnet" serving_base \
  $USER/resnet_serving

이제 제공 기본 컨테이너를 중지해 보겠습니다.

docker kill serving_base
docker rm serving_base

서버 시작

이제 ResNet 모델로 컨테이너를 시작하여 gRPC 포트 8500을 노출하여 서비스 준비를 완료하겠습니다.

docker run -p 8500:8500 -t $USER/resnet_serving &

서버에 쿼리

클라이언트의 경우 TensorFlow Serving GitHub 저장소를 복제해야 합니다.

git clone https://github.com/tensorflow/serving
cd serving

resnet_client_grpc.py 로 서버를 쿼리합니다. 클라이언트는 이미지를 다운로드하고 ImageNet 범주로 분류하기 위해 gRPC를 통해 보냅니다.

tools/run_in_docker.sh python tensorflow_serving/example/resnet_client_grpc.py

결과는 다음과 같습니다.

outputs {
  key: "classes"
  value {
    dtype: DT_INT64
    tensor_shape {
      dim {
        size: 1
      }
    }
    int64_val: 286
  }
}
outputs {
  key: "probabilities"
  value {
    dtype: DT_FLOAT
    tensor_shape {
      dim {
        size: 1
      }
      dim {
        size: 1001
      }
    }
    float_val: 2.41628322328e-06
    float_val: 1.90121829746e-06
    float_val: 2.72477100225e-05
    float_val: 4.42638565801e-07
    float_val: 8.98362372936e-07
    float_val: 6.84421956976e-06
    float_val: 1.66555237229e-05
...
    float_val: 1.59407863976e-06
    float_val: 1.2315689446e-06
    float_val: 1.17812135159e-06
    float_val: 1.46365800902e-05
    float_val: 5.81210713335e-07
    float_val: 6.59980651108e-05
    float_val: 0.00129527016543
  }
}
model_spec {
  name: "resnet"
  version {
    value: 123
  }
  signature_name: "serving_default"
}

작동합니다! 서버가 고양이 이미지를 성공적으로 분류했습니다!

3부: Kubernetes에 배포

이 섹션에서는 0부에서 구축한 컨테이너 이미지를 사용하여 Google Cloud Platform 에 Kubernetes 가 포함된 제공 클러스터를 배포합니다.

GCloud 프로젝트 로그인

여기서는 tensorflow-serving 이라는 gcloud 프로젝트를 만들고 로그인했다고 가정합니다.

gcloud auth login --project tensorflow-serving

컨테이너 클러스터 만들기

먼저 서비스 배포를 위한 Google Kubernetes Engine 클러스터를 만듭니다.

$ gcloud container clusters create resnet-serving-cluster --num-nodes 5

다음과 같이 출력되어야 합니다.

Creating cluster resnet-serving-cluster...done.
Created [https://container.googleapis.com/v1/projects/tensorflow-serving/zones/us-central1-f/clusters/resnet-serving-cluster].
kubeconfig entry generated for resnet-serving-cluster.
NAME                       ZONE           MASTER_VERSION  MASTER_IP        MACHINE_TYPE   NODE_VERSION  NUM_NODES  STATUS
resnet-serving-cluster  us-central1-f  1.1.8           104.197.163.119  n1-standard-1  1.1.8         5          RUNNING

gcloud 컨테이너 명령어의 기본 클러스터를 설정하고 클러스터 사용자 인증 정보를 kubectl 에 전달합니다.

gcloud config set container/cluster resnet-serving-cluster
gcloud container clusters get-credentials resnet-serving-cluster

결과는 다음과 같습니다.

Fetching cluster endpoint and auth data.
kubeconfig entry generated for resnet-serving-cluster.

Docker 이미지 업로드

이제 Google Cloud Platform에서 실행할 수 있도록 이미지를 Google Container Registry 에 푸시하겠습니다.

먼저 Container Registry 형식과 프로젝트 이름을 사용하여 $USER/resnet_serving 이미지에 태그를 지정합니다.

docker tag $USER/resnet_serving gcr.io/tensorflow-serving/resnet

다음으로 gcloud를 사용자 인증 정보 도우미로 사용하도록 Docker를 구성합니다.

gcloud auth configure-docker

다음으로 이미지를 레지스트리에 푸시합니다.

docker push gcr.io/tensorflow-serving/resnet

Kubernetes 배포 및 서비스 생성

배포는 Kubernetes 배포 에 의해 제어되는 resnet_inference 서버의 복제본 3개로 구성됩니다. 복제본은 외부 로드 밸런서 와 함께 Kubernetes 서비스 에 의해 외부에 노출됩니다.

예제 Kubernetes 구성 resnet_k8s.yaml을 사용하여 이를 생성합니다.

kubectl create -f tensorflow_serving/example/resnet_k8s.yaml

출력:

deployment "resnet-deployment" created
service "resnet-service" created

배포 및 Pod 상태를 보려면 다음 안내를 따르세요.

$ kubectl get deployments
NAME                    DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
resnet-deployment    3         3         3            3           5s

$ kubectl get pods
NAME                         READY     STATUS    RESTARTS   AGE
resnet-deployment-bbcbc   1/1       Running   0          10s
resnet-deployment-cj6l2   1/1       Running   0          10s
resnet-deployment-t1uep   1/1       Running   0          10s

서비스 상태를 보려면:

$ kubectl get services
NAME                    CLUSTER-IP       EXTERNAL-IP       PORT(S)     AGE
resnet-service       10.239.240.227   104.155.184.157   8500/TCP    1m

모든 것이 준비되어 실행되는 데 시간이 걸릴 수 있습니다.

$ kubectl describe service resnet-service
Name:           resnet-service
Namespace:      default
Labels:         run=resnet-service
Selector:       run=resnet-service
Type:           LoadBalancer
IP:         10.239.240.227
LoadBalancer Ingress:   104.155.184.157
Port:           <unset> 8500/TCP
NodePort:       <unset> 30334/TCP
Endpoints:      <none>
Session Affinity:   None
Events:
  FirstSeen LastSeen    Count   From            SubobjectPath   Type        Reason      Message
  --------- --------    -----   ----            -------------   --------    ------      -------
  1m        1m      1   {service-controller }           Normal      CreatingLoadBalancer    Creating load balancer
  1m        1m      1   {service-controller }           Normal      CreatedLoadBalancer Created load balancer

서비스 외부 IP 주소는 LoadBalancer Ingress 옆에 나열됩니다.

모델 쿼리

이제 로컬 호스트의 외부 주소에서 서비스를 쿼리할 수 있습니다.

$ tools/run_in_docker.sh python \
  tensorflow_serving/example/resnet_client_grpc.py \
  --server=104.155.184.157:8500
outputs {
  key: "classes"
  value {
    dtype: DT_INT64
    tensor_shape {
      dim {
        size: 1
      }
    }
    int64_val: 286
  }
}
outputs {
  key: "probabilities"
  value {
    dtype: DT_FLOAT
    tensor_shape {
      dim {
        size: 1
      }
      dim {
        size: 1001
      }
    }
    float_val: 2.41628322328e-06
    float_val: 1.90121829746e-06
    float_val: 2.72477100225e-05
    float_val: 4.42638565801e-07
    float_val: 8.98362372936e-07
    float_val: 6.84421956976e-06
    float_val: 1.66555237229e-05
...
    float_val: 1.59407863976e-06
    float_val: 1.2315689446e-06
    float_val: 1.17812135159e-06
    float_val: 1.46365800902e-05
    float_val: 5.81210713335e-07
    float_val: 6.59980651108e-05
    float_val: 0.00129527016543
  }
}
model_spec {
  name: "resnet"
  version {
    value: 1538687457
  }
  signature_name: "serving_default"
}

Kubernetes에서 서비스 역할을 하는 ResNet 모델을 성공적으로 배포했습니다!

Kubernetes와 함께 TensorFlow Serving 사용 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.