Vài năm gần đây đã chứng kiến sự gia tăng của các lớp đồ họa có thể phân biệt mới lạ có thể được chèn vào kiến trúc mạng thần kinh. Từ các máy biến áp không gian đến các trình kết xuất đồ họa khác biệt, các lớp mới này tận dụng kiến thức thu được qua nhiều năm nghiên cứu về thị giác máy tính và đồ họa để xây dựng các kiến trúc mạng mới và hiệu quả hơn. Mô hình hóa rõ ràng các giá trị và ràng buộc hình học thành mạng nơ-ron mở ra cánh cửa cho các kiến trúc có thể được đào tạo một cách mạnh mẽ, hiệu quả và quan trọng hơn, theo cách tự giám sát.
Ở cấp độ cao, đường ống đồ họa máy tính yêu cầu thể hiện các đối tượng 3D và vị trí tuyệt đối của chúng trong cảnh, mô tả về vật liệu chúng được làm, đèn và máy ảnh. Mô tả cảnh này sau đó được trình kết xuất diễn giải để tạo kết xuất tổng hợp.
Trong khi đó, một hệ thống thị giác máy tính sẽ bắt đầu từ một hình ảnh và cố gắng suy ra các thông số của cảnh. Điều này cho phép dự đoán đối tượng nào đang ở trong cảnh, chúng được làm bằng vật liệu gì, vị trí và hướng ba chiều.
Đào tạo các hệ thống máy học có khả năng giải quyết các nhiệm vụ thị giác 3D phức tạp này thường đòi hỏi số lượng lớn dữ liệu. Vì dữ liệu gắn nhãn là một quá trình tốn kém và phức tạp, nên điều quan trọng là phải có cơ chế để thiết kế các mô hình học máy có thể hiểu được thế giới ba chiều trong khi được đào tạo mà không cần giám sát nhiều. Kết hợp giữa thị giác máy tính và kỹ thuật đồ họa máy tính mang lại cơ hội duy nhất để tận dụng lượng lớn dữ liệu không được gắn nhãn sẵn có. Như được minh họa trong hình ảnh dưới đây, ví dụ, điều này có thể đạt được bằng cách sử dụng phân tích bằng cách tổng hợp trong đó hệ thống thị giác trích xuất các thông số cảnh và hệ thống đồ họa kết xuất hình ảnh dựa trên chúng. Nếu kết xuất khớp với hình ảnh gốc, hệ thống thị giác đã trích xuất chính xác các thông số của cảnh. Trong thiết lập này, thị giác máy tính và đồ họa máy tính đi đôi với nhau, tạo thành một hệ thống học máy duy nhất tương tự như một bộ mã tự động, có thể được đào tạo theo cách tự giám sát.
Đồ họa Tensorflow đang được phát triển để giúp giải quyết những loại thách thức này và để làm như vậy, nó cung cấp một tập hợp các lớp hình học và đồ họa có thể phân biệt (ví dụ: máy ảnh, mô hình phản xạ, biến đổi không gian, phức hợp lưới) và các chức năng của trình xem 3D (ví dụ: 3D TensorBoard) có thể được sử dụng để đào tạo và gỡ lỗi các mô hình học máy mà bạn lựa chọn.