Lợi thế của việc giảm kích thước của các yếu tố dự đoán cho mục đích hồi quy là gì?

Các ứng dụng hoặc lợi thế của kỹ thuật hồi quy giảm kích thước (DRR) hoặc kỹ thuật giảm kích thước được giám sát (SDR) so với các kỹ thuật hồi quy truyền thống (không có bất kỳ giảm kích thước nào) là gì? Các lớp kỹ thuật này tìm thấy biểu diễn chiều thấp của bộ tính năng cho bài toán hồi quy. Ví dụ về các kỹ thuật này bao gồm Hồi quy nghịch đảo thái lát, Chỉ dẫn Hessian chính, Ước lượng phương sai trung bình cắt lát, Hồi quy nghịch đảo hạt nhân, Hồi quy thành phần chính, v.v.

1. Về mặt RMSE được xác thực chéo, nếu một thuật toán thực hiện tốt hơn trong nhiệm vụ hồi quy mà không có bất kỳ sự giảm kích thước nào, thì việc sử dụng thực sự của việc giảm kích thước để hồi quy là gì? Tôi không hiểu ý của những kỹ thuật này.

2. Có phải các kỹ thuật này được sử dụng để giảm độ phức tạp không gian và thời gian cho hồi quy? Nếu đó là lợi thế chính, một số tài nguyên về giảm độ phức tạp cho các bộ dữ liệu chiều cao khi các kỹ thuật này được đưa vào sử dụng sẽ hữu ích. Tôi tranh luận điều này với thực tế là việc chạy một kỹ thuật DRR hoặc SDR tự nó đòi hỏi một chút thời gian và không gian. Đây có phải là hồi quy SDR / DRR + trên một tập dữ liệu có độ mờ thấp nhanh hơn so với chỉ hồi quy trên tập dữ liệu có độ mờ cao không?

3. Có phải thiết lập này đã được nghiên cứu ngoài lợi ích trừu tượng, và không có một ứng dụng thực tế tốt?

Như một suy nghĩ phụ: đôi khi có những giả định rằng phân phối chung của các tính năng và phản hồi nằm trên một đa tạp. Thật hợp lý khi tìm hiểu đa tạp từ mẫu quan sát trong bối cảnh này để giải quyết vấn đề hồi quy.$X$$Y$

Theo giả thuyết đa tạp, dữ liệu được cho là nằm trên đa tạp chiều thấp, hàm ý rằng phần dư là nhiễu, vì vậy nếu bạn giảm chính xác kích thước, bạn nên cải thiện hiệu suất bằng cách mô hình hóa tín hiệu thay vì nhiễu. Đó không chỉ là một câu hỏi về không gian và sự phức tạp.

Mục đích của việc giảm kích thước trong hồi quy là chính quy.

Hầu hết các kỹ thuật mà bạn liệt kê không được biết đến nhiều; Tôi chưa nghe nói về bất kỳ ai trong số họ ngoài hồi quy thành phần chính (PCR). Vì vậy, tôi sẽ trả lời về PCR nhưng hy vọng rằng điều tương tự cũng áp dụng cho các kỹ thuật khác.

Hai từ khóa ở đây là quá mức và chính quy . Để điều trị và thảo luận lâu dài, tôi giới thiệu bạn đến Các yếu tố của học thống kê , nhưng rất ngắn gọn, điều gì xảy ra nếu bạn có nhiều dự đoán ( ) và không đủ mẫu ( ) là hồi quy chuẩn sẽ vượt quá dữ liệu và bạn sẽ xây dựng một mô hình dường như có hiệu suất tốt trên tập huấn luyện nhưng thực sự có hiệu suất rất kém trên bất kỳ tập kiểm thử nào.$p$$n$

Trong một ví dụ cực đoan, khi số lượng dự đoán vượt quá số lượng mẫu (mọi người gọi nó là vấn đề ), bạn thực sự có thể hoàn toàn phù hợp với bất kỳ biến phản hồi , đạt hiệu suất dường như . Điều này rõ ràng là vô nghĩa.y 100 $p>n$$y$$100\%$

Để đối phó với việc quá mức người ta phải sử dụng chính quy , và có rất nhiều chiến lược chính quy hóa khác nhau. Trong một số phương pháp tiếp cận một cố gắng để làm giảm đáng kể số lượng các nhân tố ảnh, làm giảm các vấn đề với tình hình, và sau đó sử dụng hồi quy chuẩn. Đây là chính xác những gì hồi quy thành phần chính làm. Vui lòng xem Các yếu tố , phần 3.4--3.6. PCR thường không tối ưu và trong hầu hết các trường hợp, một số phương pháp chính quy hóa khác sẽ hoạt động tốt hơn, nhưng nó rất dễ hiểu và dễ hiểu.$p\ll n$

Lưu ý rằng PCR cũng không phải là tùy ý (ví dụ: việc giữ ngẫu nhiên các kích thước có khả năng thực hiện kém hơn nhiều). Lý do cho điều này là PCR được kết nối chặt chẽ với hồi quy sườn, đây là một công cụ thường xuyên co ngót tiêu chuẩn được biết là hoạt động tốt trong nhiều trường hợp lớn. Xem câu trả lời của tôi ở đây để so sánh: Mối quan hệ giữa hồi quy sườn và hồi quy PCA .$p$

Để thấy hiệu suất tăng so với hồi quy tiêu chuẩn, bạn cần một bộ dữ liệu có nhiều dự đoán và không quá nhiều mẫu và bạn chắc chắn cần sử dụng xác thực chéo hoặc bộ kiểm tra độc lập. Nếu bạn không thấy hiệu suất tăng, thì có lẽ tập dữ liệu của bạn không có đủ kích thước.

Chủ đề liên quan với câu trả lời tốt:

• Hồi quy trong cài đặt (dự đoán hiệu quả của thuốc từ biểu hiện gen với 30k dự đoán và ~ 30 mẫu)$p\gg N$

• Hồi quy trong cài đặt : làm thế nào để chọn phương pháp chính quy (Lasso, PLS, PCR, sườn núi)?$p>n$