Học sâu ở đâu và tại sao?

Với tất cả các cuộc nói chuyện trên phương tiện truyền thông và sự cường điệu về việc học sâu ngày nay, tôi đã đọc một số nội dung cơ bản về nó. Tôi chỉ thấy rằng nó chỉ là một phương pháp học máy khác để học các mẫu từ dữ liệu. Nhưng câu hỏi của tôi là: nơi nào và tại sao phương pháp này tỏa sáng? Tại sao tất cả các cuộc nói chuyện về nó ngay bây giờ? Tức là những gì ồn ào tất cả về?

— Jack Twain
nguồn

Hãy xem các bài giảng youtube chất lượng của Geoff Hinton và Andrew Ng để biết tổng quan dễ hiểu về lý do tại sao nó lại tốt như vậy.

— Jase

Câu trả lời:

Những lợi ích chính có mục đích:

(1) Không cần thiết phải sử dụng các tính năng kỹ sư cho các vấn đề học phi tuyến tính (tiết kiệm thời gian và khả năng mở rộng cho tương lai, vì kỹ thuật tay được một số người coi là hỗ trợ ban nhạc ngắn hạn)

(2) Các tính năng đã học đôi khi tốt hơn các tính năng được chế tạo bằng tay tốt nhất và có thể phức tạp (tầm nhìn máy tính - ví dụ như các tính năng giống như khuôn mặt) đến nỗi nó sẽ chiếm quá nhiều thời gian của con người đối với kỹ sư.

(3) Có thể sử dụng dữ liệu chưa được gắn nhãn để đào tạo trước mạng. Giả sử chúng ta có 1000000 hình ảnh không nhãn và 1000 hình ảnh được dán nhãn. Bây giờ chúng ta có thể cải thiện mạnh mẽ một thuật toán học có giám sát bằng cách đào tạo trước trên 1000000 hình ảnh không nhãn với học sâu. Ngoài ra, trong một số miền, chúng tôi có rất nhiều dữ liệu chưa được gắn nhãn nhưng dữ liệu được gắn nhãn rất khó tìm. Một thuật toán có thể sử dụng dữ liệu chưa được gắn nhãn này để cải thiện phân loại là có giá trị.

(4) Theo kinh nghiệm, phá vỡ nhiều điểm chuẩn chỉ thấy được sự cải thiện gia tăng cho đến khi đưa ra các phương pháp học sâu.

(5) Thuật toán tương tự hoạt động trong nhiều lĩnh vực với đầu vào thô (có thể với tiền xử lý nhỏ).

(6) Tiếp tục cải thiện khi nhiều dữ liệu được cung cấp cho mạng (giả sử các bản phân phối cố định, v.v.).

— Jase
nguồn

Một điểm quan trọng khác ngoài những điều trên (tôi không có đủ đại diện để chỉ thêm nó dưới dạng một nhận xét) là nó là một mô hình tổng quát (ít nhất là Deep Belief Nets) và do đó bạn có thể lấy mẫu từ các bản phân phối đã học - điều này có thể có một số lợi ích chính trong các ứng dụng nhất định nơi bạn muốn tạo dữ liệu tổng hợp tương ứng với các lớp / cụm đã học.

— Alex McM bồ
nguồn

Đây không phải là một tài sản chung của học tập sâu, mà là mô hình cụ thể trong câu hỏi. Ví dụ, bạn có thể lấy mẫu từ Gaussian nhưng không phải từ hồi quy logistic. Bạn cũng có thể lấy mẫu từ nhiều mô hình học sâu, ví dụ như lưới niềm tin sâu sắc như bạn đã nói, máy Boltzmann sâu, mô hình Gaussian tiềm ẩn sâu, v.v. Nhưng bạn không thể lấy mẫu từ drednets, những mô hình đã được sử dụng trong tất cả các ấn tượng các ứng dụng.

— bayerj

... Tại sao bạn không thể lấy mẫu từ hồi quy logistic?

— Hồng Ooi

Cho một mô hình LR , bạn có thể lấy mẫu lớp được điều hòa trên đầu vào. Nhưng bạn không thể lấy mẫu đầu vào. Vì vậy, nó là một sự phân biệt phân biệt / khái quát.

p (c | x)

$p(c|x)$

— bayerj

Nhưng điều tương tự cũng đúng với mô hình hồi quy gaussian, nếu theo đó bạn có nghĩa là hồi quy tuyến tính cơ bản.

— Hồng Ooi