Trong khi tham gia một khóa học trực tuyến về học máy của Andrew Ng trên coursera, tôi đã bắt gặp một chủ đề gọi là quá mức . Tôi biết điều đó có thể xảy ra khi sử dụng độ dốc giảm dần trong hồi quy tuyến tính hoặc logistic nhưng nó có thể xảy ra khi các thuật toán Tối ưu hóa nâng cao như "Liên hợp độ dốc", "BFGS" và "L-BFGS" được sử dụng không?
Câu trả lời:
Không có kỹ thuật sẽ loại bỏ nguy cơ quá mức hoàn toàn. Các phương thức bạn đã liệt kê chỉ là những cách khác nhau để phù hợp với mô hình tuyến tính. Một mô hình tuyến tính sẽ có mức tối thiểu toàn cầu và mức tối thiểu đó không nên thay đổi bất kể hương vị của độ dốc mà bạn đang sử dụng (trừ khi bạn đang sử dụng chính quy), vì vậy tất cả các phương pháp bạn đã liệt kê sẽ phù hợp hơn (hoặc underfit) như nhau.
Chuyển từ mô hình tuyến tính sang mô hình phức tạp hơn, như học sâu, bạn thậm chí còn có nguy cơ nhìn thấy quá mức. Tôi đã có rất nhiều mạng lưới thần kinh phức tạp quá mức phù hợp, mặc dù tích chập được cho là sẽ làm giảm cơ hội vượt quá đáng kể bằng cách chia sẻ trọng lượng. Tóm lại, không có viên đạn bạc nào cho quá mức, bất kể họ mô hình hay kỹ thuật tối ưu hóa.
Quá mức nói chung là kết quả của dữ liệu và cấu trúc của mô hình của bạn. Các thuật toán 'nâng cao' mà bạn đề cập có các cách sử dụng cụ thể có thể hoặc không thể thực hiện các phương pháp khác tùy thuộc vào mục tiêu và dữ liệu của bạn. Đây là một nguồn để đọc thêm: http://epage.nips.cc/apers/1895-overfmit-in-neural-nets-backpropagation-conjugate-gradient-and-early-stopping.pdf