Làm thế nào và tại sao MLP để phân loại khác với MLP cho hồi quy? Chức năng backpropagation và chuyển khác nhau?


8

Tôi đang sử dụng hai tri giác đa lớp (MLP) 3 lớp. Với cùng một dữ liệu đầu vào (14 nơ ron đầu vào), tôi thực hiện một phân loại (đúng / sai) và một hồi quy (nếu đúng, "bao nhiêu"). Cho đến thời điểm hiện tại, tôi đã lười biếng sử dụng Matlabs patternnetfitnet . Thật may mắn, vì tôi đã không dành thời gian để thực sự hiểu chuyện gì đang xảy ra - và tôi nên làm vậy. Hơn nữa, tôi cần thực hiện chuyển đổi sang thư viện OSS (có thể là FANN), điều đó có thể sẽ yêu cầu thiết lập thủ công nhiều hơn so với Hộp công cụ Matlab NN. Do đó, tôi đang cố gắng để hiểu chính xác hơn những gì đang diễn ra.

Các mạng được tạo bởi patternnetfitnetgần như giống hệt nhau: 14 nơ ron đầu vào, 11 nơ ron ẩn, 1 nơ ron đích (2 cho fitnet, nhưng chỉ có 1 mẩu thông tin). Nhưng, chúng không hoàn toàn giống nhau. Sự khác biệt theo mặc định là:

Những sự khác biệt đó có nên không?

Loại hàm backpropagation nào là tối ưu để phân loại, và loại nào cho hồi quy, và tại sao?

Loại hàm truyền nào là tối ưu để phân loại, và loại nào cho hồi quy, và tại sao?


¹ Việc phân loại là dành cho "mây" hay "đám mây miễn phí" (2 mục tiêu bổ sung), hồi quy là để định lượng "bao nhiêu đám mây" (1 mục tiêu).

Câu trả lời:


2

Sự khác biệt chính là trong tiêu chí đào tạo. Một tiêu chí đào tạo bình phương tối thiểu thường được sử dụng cho hồi quy vì điều này mang lại ước tính khả năng tối đa (bị phạt) của các tham số mô hình giả định nhiễu Gaussian làm hỏng biến phản ứng (mục tiêu). Đối với các vấn đề phân loại, thông thường sử dụng một tiêu chí đào tạo entropy chéo, để đưa ra ước tính khả năng tối đa giả sử Bernoilli hoặc mất đa phương. Dù bằng cách nào, các đầu ra mô hình có thể được hiểu là ước tính xác suất thành viên của lớp, nhưng thông thường sử dụng các hàm kích hoạt logistic hoặc softmax trong lớp đầu ra để các đầu ra bị hạn chế nằm giữa 0 và 1 và tổng thành 1. Nếu bạn sử dụng hàm tanh, bạn có thể sắp xếp lại các xác suất này bằng cách thêm một và chia cho hai (nhưng nếu không thì giống nhau).

Sự khác biệt giữa độ dốc liên hợp tỷ lệ và Levenberg-Marquest có thể khá nhỏ về hiệu suất tổng quát.

Tôi thực sự muốn giới thiệu hộp công cụ NETLAB cho MATLAB trên hộp công cụ mạng thần kinh của MATLAB. Có lẽ là một ý tưởng tốt để điều tra chính quy hóa Bayes để tránh sự phù hợp quá mức ( cuốn sách của Chris Bishop rất đáng đọc và hầu hết được trình bày trong hộp công cụ NETLAB).


Thú vị - tại sao bạn thực sự khuyên dùng NETLAB trên hộp công cụ NN của MATLAB? Tôi đã khá hài lòng với điều thứ hai, nhưng tôi đang hướng tới việc chuyển đi để không có giấy phép thương mại. Netlab rõ ràng vẫn là Matlab, vì vậy chỉ giải quyết được một nửa vấn đề khi có liên quan đến độc lập; Tôi tốt nhất nên sử dụng một cái gì đó tôi có thể sử dụng với Python.
gerrit

Tôi nghi ngờ NETLAB cũng hoạt động với octave, giải quyết vấn đề giấy phép thương mại. Tôi thích NETLAB vì nó có các công cụ cơ bản để phân loại và hồi quy được thiết lập khá đơn giản và khuyến khích việc sử dụng các mạng thường xuyên, điều này rất quan trọng trong việc tránh phù hợp quá mức. Nó cũng bổ sung cho cuốn sách của Chris Bishop rất tốt, và đó là cuốn sách tôi muốn giới thiệu cho bất kỳ ai muốn sử dụng mạng lưới thần kinh trong sự tức giận. Các quy trình Gaussian là một tùy chọn hiện đại hơn, hộp công cụ và sách GPML cũng được khuyến nghị cao ( gaussian Process.org/gpml ).
Dikran Marsupial

Ok, tôi hiểu rồi. Nó luôn hoạt động khá tốt đối với tôi, tôi không gặp vấn đề gì quá mức với việc dừng sớm. Tôi thấy điểm với Octave nhưng nếu tôi cần thực hiện chuyển đổi, tôi muốn chuyển sang Python ngay lập tức (tôi hoan nghênh Octave và tôi ước tôi có thể chạy mã Matlab của mình trong đó, nó phụ thuộc rất nhiều vào các lớp sau R2008a ; nhưng tôi không yêu Matlab như một ngôn ngữ đủ để chọn một bản sao FOSS Matlab trên Octave. Dù sao, cuộc thảo luận này đang lạc đề).
gerrit

Có ý nghĩa là tự học python một cách công bằng, nó được sử dụng khá nhiều trong cộng đồng học máy, vì vậy tôi hy vọng có một số thư viện tốt có sẵn.
Dikran Marsupial
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.