Giúp bảo vệ Great Barrier Reef với TensorFlow trên Kaggle Tham Challenge

Khung học tập có cấu trúc thần kinh

Học có cấu trúc thần kinh (NSL) tập trung vào đào tạo mạng thần kinh sâu bằng cách tận dụng các tín hiệu có cấu trúc (khi có sẵn) cùng với các đầu vào tính năng. Như đã giới thiệu bởi Bùi et al. (WSDM'18) , các tín hiệu này có cấu trúc được sử dụng để hợp thức việc đào tạo một mạng lưới thần kinh, buộc các mô hình để học dự đoán chính xác (bằng cách giảm thiểu thiệt hại có giám sát), trong khi đồng thời duy trì các đầu vào tương tự cấu trúc (bằng cách giảm thiểu sự mất mát hàng xóm , xem hình bên dưới). Kỹ thuật này là chung và có thể được áp dụng trên các kiến ​​trúc thần kinh tùy ý (chẳng hạn như NN chuyển tiếp, NN chuyển đổi và NN lặp lại).

Khái niệm NSL

Lưu ý rằng phương trình tổn thất lân cận tổng quát là linh hoạt và có thể có các dạng khác ngoài dạng được minh họa ở trên. Ví dụ, chúng ta cũng có thể chọn\(\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))\) là sự mất mát người hàng xóm, trong đó tính toán khoảng cách giữa các chân lý đất \(y_i\)và dự đoán từ những người hàng xóm \(g_\theta(x_j)\). Đây thường được sử dụng trong việc học gây tranh cãi (Goodfellow et al., ICLR'15) . Do đó, NSL khái quát đến thần kinh Graph Learning nếu hàng xóm được đại diện một cách rõ ràng bằng một đồ thị, và để gây tranh cãi Learning nếu các nước láng giềng đang ngầm gây ra bởi nhiễu loạn đối lập.

Quy trình tổng thể cho Học tập có cấu trúc thần kinh được minh họa bên dưới. Mũi tên màu đen đại diện cho quy trình đào tạo thông thường và mũi tên màu đỏ đại diện cho quy trình làm việc mới như được NSL giới thiệu để tận dụng các tín hiệu có cấu trúc. Đầu tiên, các mẫu đào tạo được tăng cường để bao gồm các tín hiệu có cấu trúc. Khi các tín hiệu có cấu trúc không được cung cấp rõ ràng, chúng có thể được xây dựng hoặc tạo ra (cái sau áp dụng cho việc học theo đối phương). Tiếp theo, các mẫu đào tạo tăng cường (bao gồm cả các mẫu ban đầu và các mẫu lân cận tương ứng của chúng) được cung cấp cho mạng nơ-ron để tính toán các lần nhúng của chúng. Khoảng cách giữa lần nhúng của một mẫu và lần nhúng của hàng xóm của nó được tính toán và sử dụng như tổn thất hàng xóm, được coi như một thuật ngữ quy định và được cộng vào tổn thất cuối cùng. Đối với quy định dựa trên hàng xóm rõ ràng, chúng tôi thường tính toán tổn thất hàng xóm là khoảng cách giữa lần nhúng của mẫu và lần nhúng của hàng xóm. Tuy nhiên, bất kỳ lớp nào của mạng nơ-ron cũng có thể được sử dụng để tính toán tổn thất hàng xóm. Mặt khác, đối với sự chính quy hóa dựa trên lân cận gây ra (nghịch đảo), chúng tôi tính toán tổn thất lân cận là khoảng cách giữa dự đoán đầu ra của lân cận đối nghịch gây ra và nhãn chân lý cơ bản.

Quy trình làm việc NSL

Tại sao sử dụng NSL?

NSL mang lại những ưu điểm sau:

  • Độ chính xác cao hơn: các tín hiệu có cấu trúc (s) trong mẫu có thể cung cấp thông tin mà không phải lúc nào cũng có sẵn trong đầu vào tính năng; Vì vậy, cách tiếp cận liên kết đào tạo (với cả hai tín hiệu có cấu trúc và tính năng) đã được chứng minh là tốt hơn nhiều phương pháp hiện (dựa trên đào tạo chỉ với tính năng) trên một loạt các nhiệm vụ, chẳng hạn như phân loại tài liệu và phân loại ý định ngữ nghĩa ( Bùi et al ., WSDM'18 & Kipf cộng sự., ICLR'17 ).
  • Mạnh mẽ: mô hình đào tạo với các ví dụ gây tranh cãi đã được chứng minh là mạnh mẽ chống lại nhiễu loạn gây tranh cãi được thiết kế cho sai lệch dự đoán hoặc phân loại của một mô hình ( Goodfellow et al, ICLR'15. & Miyato et al, ICLR'16. ). Khi số lượng các mẫu huấn luyện là nhỏ, đào tạo với các ví dụ gây tranh cãi cũng giúp cải thiện mô hình chính xác ( Tsipras et al., ICLR'19 ).
  • Ít dữ liệu nhãn yêu cầu: NSL phép mạng thần kinh để khai thác cả dữ liệu được dán nhãn và không có nhãn, mà mở rộng mô hình học tập để học nửa giám sát . Cụ thể, NSL cho phép mạng đào tạo bằng cách sử dụng dữ liệu có nhãn như trong cài đặt được giám sát, đồng thời thúc đẩy mạng tìm hiểu các biểu diễn ẩn tương tự cho các "mẫu lân cận" có thể có hoặc không có nhãn. Kỹ thuật này đã cho thấy triển vọng rất lớn cho việc cải thiện mô hình chính xác khi dung lượng dữ liệu được dán nhãn là tương đối nhỏ ( Bùi et al., WSDM'18 & Miyato et al., ICLR'16 ).

Hướng dẫn từng bước

Để có được trải nghiệm thực tế với Học có cấu trúc thần kinh, chúng tôi có các hướng dẫn bao gồm các tình huống khác nhau trong đó các tín hiệu có cấu trúc có thể được cung cấp, xây dựng hoặc tạo ra một cách rõ ràng. Ở đây có một ít:

Thêm ví dụ và hướng dẫn có thể được tìm thấy trong các ví dụ thư mục của kho GitHub của chúng tôi.