dòng chảy :: hoạt động :: ApplyRMSProp

#include <training_ops.h>

Cập nhật '* var' theo thuật toán RMSProp.

Tóm lược

Lưu ý rằng khi triển khai dày đặc thuật toán này, ms và mom sẽ cập nhật ngay cả khi grad bằng 0, nhưng trong triển khai thưa thớt này, ms và mom sẽ không cập nhật trong các lần lặp lại mà grad bằng 0.

mean_square = giảm dần * mean_square + (1-giảm dần) * gradient ** 2 Delta = learning_rate * gradient / sqrt (mean_square + epsilon)

ms <- rho * ms_ {t-1} + (1-rho) * grad * grad mom <- xung lượng * mom_ {t-1} + lr * grad / sqrt (ms + epsilon) var <- var - mom

Tranh luận:

• phạm vi: Một đối tượng Phạm vi
• var: Phải từ một Biến ().
• ms: Phải từ một Biến ().
• mẹ: Nên từ một Biến ().
• lr: Hệ số tỷ lệ. Phải là một vô hướng.
• rho: Tỷ lệ phân rã. Phải là một vô hướng.
• epsilon: Thuật ngữ Ridge. Phải là một vô hướng.
• grad: Độ dốc.

Các thuộc tính tùy chọn (xem Phần Attrs ):

• use_locking: Nếu True , việc cập nhật các tenxơ var, ms và mẹ được bảo vệ bằng một khóa; nếu không thì hành vi không được xác định, nhưng có thể ít biểu hiện sự cạnh tranh hơn.

Lợi nhuận:

• Output : Giống như "var".

Người xây dựng và Người phá hủy
ApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ApplyRMSProp::Attrs & attrs)

Thuộc tính công cộng
operation	Operation
out	:: tensorflow::Output

Chức năng công cộng
node () const	::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

Các chức năng tĩnh công khai
UseLocking (bool x)	Attrs

Cấu trúc
tensorflow :: ops :: ApplyRMSProp :: Attrs	Bộ thiết lập thuộc tính tùy chọn cho ApplyRMSProp .

Thuộc tính công cộng

hoạt động

Operation operation

ngoài

::tensorflow::Output out

Chức năng công cộng

ApplyRMSProp

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

ApplyRMSProp

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyRMSProp::Attrs & attrs
)

nút

::tensorflow::Node * node() const 

toán tử :: tensorflow :: Đầu vào

 operator::tensorflow::Input() const 

toán tử :: tensorflow :: Đầu ra

 operator::tensorflow::Output() const 

Các chức năng tĩnh công khai

UseLocking

Attrs UseLocking(
  bool x
)