hóa định mức và nghiên cứu thực nghiệm định mức

Có nhiều phương pháp để thực hiện chính quy hóa - ví dụ: chính quy hóa định mức , và . Theo Friedman Hastie & Tibsharani , bộ chỉnh tần số tốt nhất phụ thuộc vào vấn đề: cụ thể là bản chất của chức năng đích thực, cơ sở cụ thể được sử dụng, tỷ lệ tín hiệu trên tạp âm và cỡ mẫu. $L_0$ $L_1$ $L_2$

Có bất kỳ nghiên cứu thực nghiệm so sánh các phương pháp và hiệu suất của các phương pháp chính quy hóa khác nhau?

r regression machine-learning regularization

— Ram Ahluwalia
nguồn

Cả ba tác giả đều ở Stanford. Tại sao không chỉ hỏi một trong số họ trực tiếp. Rob Tibshirani rất dễ gần và Jerry Friedman cũng vậy. Friedman đã làm rất nhiều nghiên cứu ban đầu trong hồi quy chính quy. Vì vậy, anh ta có thể là sự lựa chọn tốt hơn.

— Michael R. Chernick

Tất nhiên tôi không thể nói rằng tôi đã cho anh ta câu trả lời. Nhưng hướng anh ta đến người tốt nhất để trả lời câu hỏi dường như không chỉ là một bình luận thông thường mà thường cố gắng làm rõ. Tôi thường tự hỏi tại sao mọi người luôn đặt câu hỏi của họ ở đây khi họ có thể đi thẳng đến nguồn. Tôi gần như chắc chắn rằng Friedman có thể trả lời nó và thật có ý nghĩa khi đi đến nguồn đặc biệt khi đó là một câu hỏi về một cái gì đó được viết trong cuốn sách của họ. Tôi có thể đi đến nguồn nhận được câu trả lời và sau đó trình bày nó ở đây.

— Michael R. Chernick

Mọi người bị đe dọa bởi tư cách là một cơ quan có thẩm quyền, cho rằng nguồn này quá bận rộn để giải quyết câu hỏi nhỏ và không quan trọng của họ, sợ nhận được một sự thô lỗ "tại sao bạn lại làm phiền tôi với điều này?" Trả lời ... Việc đi đến nguồn sẽ dễ dàng hơn nhiều nếu bạn cũng là một nguồn, có lẽ cho các công cụ khác, trong lĩnh vực này.

— jbowman

@jbowman Vâng. Tôi hiểu điều đó. Nhưng bạn sẽ lưu ý rằng tôi biết Tibshirani và Friedman trên cơ sở cá nhân và đảm bảo với Op rằng nỗi sợ hãi của họ là không có cơ sở với các tác giả này. Tôi đã không đề cập đến Hastie vì tôi không biết anh ấy cũng như những người khác.,

— Michael R. Chernick

@chl Tôi không nghĩ rằng chúng ta thực sự có thể mong đợi để thấy họ tham gia trang web. Nó đòi hỏi quá nhiều thời gian cho các giáo sư bận rộn với một vài ngoại lệ như Frank Harrell và có thể những người khác sử dụng bút danh. Nhưng tôi nghĩ họ sẽ dành thời gian để trả lời những câu hỏi cụ thể được gửi trực tiếp đến họ.

— Michael R. Chernick

Câu trả lời:

Hãy xem xét một mô hình tuyến tính bị phạt.

Hình phạt không được sử dụng nhiều và thường được thay thế bằng định mức linh hoạt hơn về mặt toán học. $L_0$ $L_1$

Chính quy hóa có đặc tính để xây dựng một mô hình thưa thớt. Điều này có nghĩa là chỉ một vài biến sẽ có hệ số hồi quy khác 0. Nó đặc biệt được sử dụng nếu bạn cho rằng chỉ có một vài biến có tác động thực sự đến các biến đầu ra. Nếu có các biến rất tương quan, chỉ một trong số các biến này sẽ được chọn với hệ số khác 0. $L_1$

Hình phạt giống như nếu bạn thêm một giá trị trên đường chéo của ma trận đầu vào. Nó có thể được sử dụng ví dụ trong các tình huống trong đó số lượng biến lớn hơn số lượng mẫu. Để có được một ma trận vuông. Với hình phạt định mức tất cả các biến có hệ số hồi quy khác không. $L_2$ $\lambda$ $L_2$

— Donbeo
nguồn

Là một đóng góp bổ sung, cụ thể liên quan đến định mức , tôi không biết rằng tôi sẽ nói rằng đó là vì nó không "linh hoạt về mặt toán học"; Tôi nghĩ rằng điều đó chủ yếu là vì việc tối ưu hóa rất tốn kém (có nhiều cách để cố gắng thực hiện, nhưng tôi không nghĩ bất cứ điều gì hoạt động hoàn toàn tổng quát). Tôi biết một nhân vật "pho mát lớn", người làm việc trong lựa chọn biến, người nói rằng anh ta rất thích sử dụng hình phạt và tính toán đó là lý do duy nhất anh ta không làm.

L_{0}

$L_0$

L_{0}

$L_0$

— anh chàng

Một vài bổ sung cho câu trả lời của @Donbeo

1) Định mức L0 không phải là một định mức theo nghĩa thực. Đây là số lượng mục nhập khác không trong một vectơ. Định mức này rõ ràng không phải là một chuẩn mực lồi và không phải là một chuẩn mực theo đúng nghĩa. Do đó, bạn có thể thấy các thuật ngữ như L0 'Norm'. Nó trở thành một vấn đề tổ hợp và do đó NP khó khăn.

2) Định mức L1 đưa ra giải pháp thưa thớt (tra cứu LASSO). Có những kết quả tinh tế của Candes, Donoho, v.v. cho thấy rằng nếu giải pháp thực sự thực sự thưa thớt thì các phương pháp bị phạt L1 sẽ phục hồi nó. Nếu giải pháp cơ bản không thưa thớt, bạn sẽ không nhận được giải pháp cơ bản trong các trường hợp khi p >> n. Có những kết quả tốt đẹp cho thấy Lasso là nhất quán.

3) Có các phương pháp như Mạng đàn hồi của Zhou và Hastie kết hợp các giải pháp bị phạt L2 và L1.

— Sid
nguồn