Tại sao hàm mất 0-1 không thể truy cập được?

Trong cuốn sách Deep Learning của Ian Goodfellow , người ta viết rằng

Đôi khi, chức năng mất mà chúng ta thực sự quan tâm (giả sử, lỗi phân loại) không phải là một chức năng có thể được tối ưu hóa một cách hiệu quả. Ví dụ, giảm thiểu chính xác tổn thất 0-1 dự kiến thường không thể điều chỉnh được (theo cấp số nhân trong kích thước đầu vào), ngay cả đối với phân loại tuyến tính. Trong các tình huống như vậy, người ta thường tối ưu hóa chức năng mất thay thế, hoạt động như một proxy nhưng có lợi thế.

Tại sao mất 0-1 không thể truy cập được, hoặc làm thế nào nó theo cấp số nhân trong các kích thước đầu vào?

neural-networks deep-learning loss-functions

— samra irshad
nguồn

Câu trả lời:

$\beta$ $\mathbf{1}(y_{i}\beta\mathbf{x}_{i} \leq 0)$ $i$ $2^{n}$ $n$ tổng số điểm mẫu. Điều này được biết đến là NP-hard. Biết giá trị hiện tại của hàm mất mát của bạn không cung cấp bất kỳ manh mối nào về cách bạn có thể sửa đổi giải pháp hiện tại của mình để cải thiện, vì bạn có thể rút ra được nếu phương pháp gradient cho hàm lồi hoặc liên tục có sẵn.

— Don Walpola
nguồn

Điểm rất tốt - trong thực tế tìm kiếm ngẫu nhiên hoặc tìm kiếm toàn diện là những phương pháp duy nhất có thể được sử dụng để tìm mức tối thiểu của hàm mất như vậy, phải không?

— DeltaIV

^^ hoặc phương pháp tình báo tiến hóa / dựa trên bầy đàn có thể?

— samra irshad

@samrairshad Vâng, trên thực tế, mất 0-1 không phải là hiếm gặp trong các phương pháp tiến hóa.

— John Doucette

Trước khi chuyển từ tìm kiếm ngẫu nhiên sang các thuật toán tiến hóa / bầy đàn phức tạp, tôi nên kiểm tra phương pháp entropy chéo (CEM).

— MAXY

Các lỗi phân loại trong thực tế đôi khi có thể dễ dàng. Nó có thể được tối ưu hóa một cách hiệu quả - mặc dù không chính xác - sử dụng phương pháp Nelder-Mead, như trong bài viết này:

https://www.computer.org/csdl/trans/tp/1994/04/i0420-abs.html

"Giảm kích thước là quá trình biến đổi các vectơ đa chiều thành không gian chiều thấp. Trong nhận dạng mẫu, người ta thường mong muốn nhiệm vụ này được thực hiện mà không mất thông tin phân loại đáng kể. Tuy nhiên, lỗi Bayes là một tiêu chí lý tưởng cho mục đích này; Do đó, nó được biết là rất khó điều trị toán học. Do đó, các tiêu chí dưới mức tối ưu đã được sử dụng trong thực tế. Chúng tôi đề xuất một tiêu chí thay thế, dựa trên ước tính của lỗi Bayes, hy vọng sẽ gần với tiêu chí tối ưu hơn so với tiêu chí hiện đang sử dụng Một thuật toán để giảm kích thước tuyến tính, dựa trên tiêu chí này, được hình thành và thực hiện. Các thí nghiệm chứng minh hiệu suất vượt trội của nó so với các thuật toán thông thường. "

Lỗi Bayes được đề cập ở đây về cơ bản là mất 0-1.

Công việc này được thực hiện trong bối cảnh giảm kích thước tuyến tính. Tôi không biết làm thế nào hiệu quả để đào tạo mạng lưới học tập sâu. Nhưng vấn đề là, và câu trả lời cho câu hỏi: thua 0-1 không phải là phổ biến. Nó có thể được tối ưu hóa tương đối tốt cho ít nhất một số loại mô hình.

— ljubomir
nguồn