Tại sao thường xuyên hóa tất cả các tham số theo cùng một cách?

Câu hỏi của tôi liên quan đến chính quy trong hồi quy tuyến tính và hồi quy logistic. Tôi hiện đang làm tuần thứ 3 của khóa học Machine Learning của Andrew Ng trên Coursera. Tôi hiểu làm thế nào quá mức có thể là một vấn đề phổ biến và tôi có một số trực giác về cách thường xuyên có thể làm giảm quá mức. Câu hỏi của tôi là chúng ta có thể cải thiện các mô hình của mình bằng cách thường xuyên các tham số khác nhau theo những cách khác nhau không?

Thí dụ:

Giả sử chúng tôi đang cố gắng phù hợp với . Câu hỏi này là về lý do tại sao chúng tôi xử phạt các giá trị cao theo cùng cách xử phạt các giá trị cao .$w_0 + w_1 x_1 + w_2 x_2 + w_3 x_3 + w_4 x_4$$w_1$$w_2$

Nếu chúng tôi không biết gì về cách các tính năng của chúng tôi được xây dựng, sẽ rất hợp lý khi xử lý tất cả chúng theo cùng một cách khi chúng tôi thực hiện chính quy: giá trị cao sẽ mang lại nhiều "hình phạt" cao giá trị .$(x_1,x_2,x_3,x_4)$$w_1$$w_3$

Nhưng hãy nói rằng chúng tôi có thêm thông tin: giả sử chúng tôi chỉ có 2 tính năng ban đầu: và . Một dòng nằm dưới tập huấn luyện của chúng tôi và chúng tôi muốn có một ranh giới quyết định có hình dạng nguệch ngoạc hơn, vì vậy chúng tôi đã xây dựng và . Bây giờ chúng ta có thể có các mô hình phức tạp hơn, nhưng chúng càng phức tạp, chúng ta càng có nguy cơ vượt quá mô hình của chúng ta vào dữ liệu đào tạo. Vì vậy, chúng tôi muốn đạt được sự cân bằng giữa giảm thiểu chức năng chi phí và giảm thiểu độ phức tạp của mô hình. Chà, các tham số thể hiện số mũ cao hơn ( , ) đang làm tăng đáng kể độ phức tạp của mô hình của chúng tôi. Vì vậy, chúng ta không nên phạt nhiều hơn cho ,$x_1$$x_2$$x_3 = x_1^2$$x_4 = x_2^3$$x_3$$x_4$$w_3$$w_4$giá trị nào hơn chúng ta phạt cho các giá trị ?$w_1,w_2$

Chà, các tham số thể hiện số mũ cao hơn (x3, x4) đang làm tăng đáng kể độ phức tạp của mô hình của chúng tôi. Vì vậy, chúng ta không nên phạt nhiều hơn đối với các giá trị w3, w4 cao hơn là chúng ta phạt đối với các giá trị w1, w2 cao?

Lý do chúng tôi nói rằng việc thêm các thuật ngữ bậc hai hoặc bậc ba làm tăng độ phức tạp của mô hình là vì nó dẫn đến một mô hình có nhiều tham số hơn. Chúng tôi không mong đợi một thuật ngữ bậc hai sẽ phức tạp hơn thuật ngữ tuyến tính. Một điều rõ ràng là, tất cả những thứ khác đều bằng nhau, một mô hình có nhiều đồng biến hơn thì phức tạp hơn.

Đối với các mục đích của chính quy hóa, người ta thường hủy bỏ tất cả các hiệp phương sai có giá trị trung bình và phương sai bằng nhau, do đó, một tiên nghiệm, chúng được coi là quan trọng như nhau. Trong thực tế, nếu một số đồng biến thực sự có mối quan hệ mạnh hơn với biến phụ thuộc so với các biến phụ thuộc khác, thì dĩ nhiên, quy trình chính quy sẽ không xử phạt các đồng biến đó một cách mạnh mẽ, bởi vì chúng sẽ có đóng góp lớn hơn cho phù hợp với mô hình.

Nhưng điều gì sẽ xảy ra nếu bạn thực sự nghĩ rằng một tiên nghiệm mà một đồng biến quan trọng hơn một đồng biến khác và bạn có thể định lượng niềm tin này, và bạn muốn mô hình phản ánh nó? Sau đó, những gì bạn có thể muốn làm là sử dụng một mô hình Bayes và điều chỉnh các mục sư cho các hệ số để phù hợp với niềm tin từ trước của bạn. Không phải ngẫu nhiên, một số quy trình chính quy hóa quen thuộc có thể được hiểu là trường hợp đặc biệt của các mô hình Bayes. Cụ thể, hồi quy sườn tương đương với một hệ số bình thường trước các hệ số và hồi quy lasso tương đương với hồi quy Laplacian trước.

Những quan sát tuyệt vời. Để trả lời câu hỏi của bạn "Chúng ta có nên phạt 'thêm' không?" Chà, chúng ta có đạt được gì từ việc áp dụng hình phạt tiên nghiệm đối với một số biến không?

Chúng tôi thực hiện ngược lại trong thực tế, hãy nhớ nhân rộng các biến đầu vào thành cùng độ lớn. Các cường độ khác nhau mang lại cho một "tầm quan trọng" khác nhau đối với một số biến số. Chúng tôi không biết cái nào quan trọng và cái nào không. Có toàn bộ dòng nghiên cứu về việc tìm đúng 'tính năng' hoặc lựa chọn tính năng / học tập đại diện.

Vì vậy, đây là hai cách để nghĩ về nó.

Người ta có thể bắt đầu với một giả thuyết cơ sở tuyến tính đơn giản và không cần chính quy. Sau đó, có một giả thuyết khác về mô hình, lấy phương trình bậc hai và các tương tác khác của không gian đầu vào. Chắc chắn rồi. Sau đó thêm chính quy và như vậy. Vì vậy, 'tìm kiếm' này là đơn giản đến phức tạp. Thêm một cách tham số để làm điều đó vì bạn đưa ra các giả thuyết về cơ sở.

Hoặc, một cách khác 'không tham số' sẽ bắt đầu bằng một giả thuyết thực sự phức tạp và để cho việc chính quy hóa thực hiện công việc (ví dụ: xử phạt sự phức tạp và đi đến một cái gì đó đơn giản hơn) thông qua xác nhận chéo.

Quan điểm của chính quy hóa và phi khoa học là làm mọi thứ tự động. Hãy để máy làm việc.

Đây là một nguồn tốt về các chức năng cơ bản.

Và cuối cùng, không gian và chuẩn mực của sẽ làm mọi thứ rõ ràng hơn nữa.$L^p$