텐서플로:: 피복재:: ResourceUnsafeLoader
#include <loader.h>
로더 자원에 대한 망각이다.
요약
그 EstimateResources () 메소드가 복귀 0, 따라서 효과적으로 제공 시스템에서 자원 기반 안전 검사를 중지.
실험, 또는 자원 안전 검사를 필요로하지 않는 환경에서 실행됩니다 로더는 하위 클래스 ResourceUnsafeLoader 대신 로더 .
계승
에서 상속 : tensorflow는 :: 제공 :: 로더공공 기능 | |
---|---|
EstimateResources (ResourceAllocation *estimate) const final | virtual Status servable이 사용할 리소스를 추정합니다. |
공공 기능
자원 추정
virtual Status EstimateResources( ResourceAllocation *estimate ) const final
servable이 사용할 리소스를 추정합니다.
중요: 이 메소드의 구현은 다음 요구 사항을 따라야 하며, 이를 통해 서빙 시스템이 안전하게 로드할 수 있는 서빙을 올바르게 추론할 수 있습니다.
- 추정치는 실제 값의 상한을 나타내야 합니다.
- 로드 전 추정에는 두 GPU 중 하나의 RAM과 같은 특정 장치 인스턴스에 바인딩되지 않은 리소스가 포함될 수 있습니다.
- 로드되는 동안 여러 인스턴스(예: 2개의 GPU)가 있는 장치의 경우 추정치는 각 리소스가 바인딩되는 인스턴스를 지정해야 합니다.
- 추정치는 단조 증가하지 않아야 합니다. 즉, 시간이 지남에 따라 증가할 수 없습니다. 시간이 지남에 따라 잠재적으로 감소하는 이유
보고 로드된 서빙 가능 리소스가 소비할 리소스의 추정치입니다. servable이 이미 로드된 경우 실제 리소스 사용량의 추정치를 반환합니다.