Là mô hình học tập sâu tham số? Hoặc không tham số?

Tôi không nghĩ có thể có một câu trả lời cho tất cả các mô hình học tập sâu. Những mô hình học sâu nào là tham số và không tham số và tại sao?

Các mô hình học tập sâu nói chung là tham số - trên thực tế, chúng có một số lượng lớn các tham số, mỗi tham số được điều chỉnh trong quá trình đào tạo.

Vì số lượng trọng lượng thường không đổi, về mặt kỹ thuật, chúng có các mức độ tự do cố định. Tuy nhiên, vì nhìn chung có rất nhiều tham số nên chúng có thể được nhìn thấy để mô phỏng không tham số.

Các quy trình Gaussian (ví dụ) sử dụng mỗi quan sát như một trọng số mới và khi số điểm chuyển sang vô cùng, thì số lượng trọng số (không bị nhầm lẫn với các tham số siêu) cũng vậy.

Tôi nói chung vì có rất nhiều hương vị khác nhau của mỗi mô hình. Ví dụ, GP xếp hạng thấp có số lượng tham số giới hạn được suy ra bởi dữ liệu và tôi chắc chắn rằng ai đó đã tạo ra một số loại dnn không tham số tại một số nhóm nghiên cứu!

Đức và Journel (1997, trang 16-17) cho rằng bản chất sai lệch của thuật ngữ "không tham số". Họ đề nghị ... mô hình "giàu thông số" thuật ngữ nên được giữ lại cho các mô hình dựa trên chỉ báo thay vì vòng loại truyền thống nhưng gây hiểu lầm "không tham số" .≫

"Thông số phong phú" có thể là một mô tả chính xác, nhưng "giàu" có tải cảm xúc cho vay một cái nhìn tích cực có thể không phải lúc nào cũng được bảo hành (!).

Một số giáo sư có thể vẫn kiên trì tham khảo chung về mạng lưới thần kinh, rừng ngẫu nhiên và tương tự như tất cả là "không tham số". Tăng opacity và piecewise bản chất của mạng lưới thần kinh (đặc biệt là với sự lây lan của các chức năng kích hoạt ReLU) khiến họ không parameteric- esque .

Một mạng nơ ron sâu tiêu chuẩn (DNN), về mặt kỹ thuật, là tham số vì nó có số lượng tham số cố định. Tuy nhiên, hầu hết các DNN có rất nhiều tham số đến mức chúng có thể được hiểu là không theo tỷ lệ ; người ta đã chứng minh rằng trong giới hạn về chiều rộng vô hạn, một mạng lưới thần kinh sâu có thể được xem như là một quá trình Gaussian (GP), là một mô hình không tham số [Lee et al., 2018].

Tuy nhiên, hãy giải thích nghiêm ngặt các DNN là tham số cho phần còn lại của câu trả lời này.

Một số ví dụ về mô hình học sâu tham số là:

• Mạng tự phát sâu (DARN)
• Mạng lưới niềm tin Sigmoid (SBN)
• Mạng thần kinh tái phát (RNN), Pixel CNN / RNN
• Bộ mã hóa tự động biến đổi (VAE), các mô hình Gaussian tiềm ẩn sâu khác, ví dụ DRAW

Một số ví dụ về các mô hình học sâu không tham số là:

• Quá trình Gaussian sâu (GP)
• GP tái phát
• Không gian nhà nước GP
• Quy trình Dirichlet phân cấp
• Quy trình buffet Ấn Độ xếp tầng

Hình ảnh từ hướng dẫn của Shakir Mohamed về các mô hình thế hệ sâu sắc .

Người giới thiệu:

• "Mạng lưới thần kinh sâu như các quá trình Gaussian" (Lee và cộng sự, 2018)

Mô hình học tập sâu không nên được coi là tham số. Các mô hình tham số được định nghĩa là các mô hình dựa trên giả định tiên nghiệm về các phân phối tạo ra dữ liệu. Các mạng lưới sâu không đưa ra các giả định về quy trình tạo dữ liệu, thay vào đó họ sử dụng một lượng lớn dữ liệu để tìm hiểu một chức năng ánh xạ đầu vào thành đầu ra. Học sâu là không tham số bởi bất kỳ định nghĩa hợp lý.