Làm thế nào và tại sao MLP để phân loại khác với MLP cho hồi quy? Chức năng backpropagation và chuyển khác nhau?

Tôi đang sử dụng hai tri giác đa lớp (MLP) 3 lớp. Với cùng một dữ liệu đầu vào (14 nơ ron đầu vào), tôi thực hiện một phân loại (đúng / sai) và một hồi quy (nếu đúng, "bao nhiêu"). Cho đến thời điểm hiện tại, tôi đã lười biếng sử dụng Matlabs patternnet và fitnet . Thật may mắn, vì tôi đã không dành thời gian để thực sự hiểu chuyện gì đang xảy ra - và tôi nên làm vậy. Hơn nữa, tôi cần thực hiện chuyển đổi sang thư viện OSS (có thể là FANN), điều đó có thể sẽ yêu cầu thiết lập thủ công nhiều hơn so với Hộp công cụ Matlab NN. Do đó, tôi đang cố gắng để hiểu chính xác hơn những gì đang diễn ra.

Các mạng được tạo bởi patternnetvà fitnetgần như giống hệt nhau: 14 nơ ron đầu vào, 11 nơ ron ẩn, 1 nơ ron đích (2 cho fitnet, nhưng chỉ có 1 mẩu thông tin). Nhưng, chúng không hoàn toàn giống nhau. Sự khác biệt theo mặc định là:

• Matlab sử dụng một backpropagation gradient liên hợp tỷ lệ cho mạng phân loại ( patternnet) và backpropagation Levenberg-Marquest cho mạng hồi quy ( fitnet).
• Mạng phân loại sử dụng hàm truyền sigmoid tiếp tuyến hyperbolic giữa lớp đầu vào và lớp ẩn và giữa lớp ẩn và lớp đầu ra. Mạng hồi quy ( fitnet) sử dụng hàm truyền sigmoid tiếp tuyến Hyperbolic giữa lớp đầu vào và lớp ẩn và hàm truyền tuyến tính thuần túy giữa lớp ẩn và lớp đầu ra.

Những sự khác biệt đó có nên không?

Loại hàm backpropagation nào là tối ưu để phân loại, và loại nào cho hồi quy, và tại sao?

Loại hàm truyền nào là tối ưu để phân loại, và loại nào cho hồi quy, và tại sao?

¹ ^{Việc phân loại là dành cho "mây" hay "đám mây miễn phí" (2 mục tiêu bổ sung), hồi quy là để định lượng "bao nhiêu đám mây" (1 mục tiêu).}

Sự khác biệt chính là trong tiêu chí đào tạo. Một tiêu chí đào tạo bình phương tối thiểu thường được sử dụng cho hồi quy vì điều này mang lại ước tính khả năng tối đa (bị phạt) của các tham số mô hình giả định nhiễu Gaussian làm hỏng biến phản ứng (mục tiêu). Đối với các vấn đề phân loại, thông thường sử dụng một tiêu chí đào tạo entropy chéo, để đưa ra ước tính khả năng tối đa giả sử Bernoilli hoặc mất đa phương. Dù bằng cách nào, các đầu ra mô hình có thể được hiểu là ước tính xác suất thành viên của lớp, nhưng thông thường sử dụng các hàm kích hoạt logistic hoặc softmax trong lớp đầu ra để các đầu ra bị hạn chế nằm giữa 0 và 1 và tổng thành 1. Nếu bạn sử dụng hàm tanh, bạn có thể sắp xếp lại các xác suất này bằng cách thêm một và chia cho hai (nhưng nếu không thì giống nhau).

Sự khác biệt giữa độ dốc liên hợp tỷ lệ và Levenberg-Marquest có thể khá nhỏ về hiệu suất tổng quát.

Tôi thực sự muốn giới thiệu hộp công cụ NETLAB cho MATLAB trên hộp công cụ mạng thần kinh của MATLAB. Có lẽ là một ý tưởng tốt để điều tra chính quy hóa Bayes để tránh sự phù hợp quá mức ( cuốn sách của Chris Bishop rất đáng đọc và hầu hết được trình bày trong hộp công cụ NETLAB).