Phù hợp thường xuyên từ dữ liệu tóm tắt: chọn tham số

Theo câu hỏi trước đây của tôi , giải pháp cho các phương trình bình thường cho hồi quy sườn được đưa ra bởi:

Bạn có thể cung cấp bất kỳ hướng dẫn để chọn tham số chính quy . Ngoài ra, do đường chéo của phát triển với số lượng quan sát , nên cũng là một hàm của ?$\lambda$$X^TX$$m$$\lambda$$m$

Câu trả lời của tôi sẽ được dựa trên một đánh giá tốt về vấn đề bằng phương pháp hồi quy và các vấn đề nghịch đảo của Anders Bjorkstorm Ridge (tôi khuyên bạn nên đọc toàn bộ bài viết).

Phần 4 trong bài đánh giá này dành riêng cho việc lựa chọn tham số trong hồi quy sườn núi giới thiệu một số cách tiếp cận chính:$\lambda$

1. dấu vết sườn núi tương ứng với phân tích đồ họa của so với . Một cốt truyện điển hình sẽ mô tả sự không ổn định (đối với một vấn đề không đúng sự thật, bạn phải chắc chắn rằng bạn cần sự chính quy này trong mọi trường hợp) các hành vi khác nhau của cho gần với không, và gần như không đổi từ một số điểm (đại khái là chúng ta phải phát hiện vùng giao nhau hành vi không đổi cho tất cả các tham số). Tuy nhiên, quyết định liên quan đến việc hành vi gần như không đổi này bắt đầu có phần chủ quan. Tin tốt cho phương pháp này là không cần phải quan sát và .$\hat{\beta}_{i,\lambda}$$\lambda$$\hat{\beta}_{i,\lambda}$$\lambda$$X$$y$
2. $L$ -curve nó vẽ đồ thị định mức Euclide của vectơ các tham số ước tínhso với định mức còn lại. Hình dạng thường gần với chữ nên tồn tại một góc xác định vị trí của tham số tối ưu (người ta có thể chọn điểm trong đường cong nơi đường cong sau đạt đến độ cong tối đa , nhưng tốt hơn là tìm kiếm bài viết của Hansen để biết thêm chi tiết).$|\hat{{\beta}}_\lambda|$$|y - X\hat{\beta}_\lambda|$$L$$L$
3. Để xác thực chéo thực tế, phương pháp "bỏ qua một lần" đơn giản thường được chọn, tìm kiếm tối đa hóa (hoặc tối thiểu hóa) một số tiêu chí chính xác dự báo (bạn có phạm vi rộng trong số chúng, RMSE và MAPE là hai bắt đầu với). Khó khăn với 2. và 3. là bạn phải quan sát và để thực hiện chúng trong thực tế.$\lambda$$X$$y$