Tốc độ, chi phí tính toán của PCA, LASSO, lưới đàn hồi

Tôi đang cố gắng so sánh độ phức tạp tính toán / tốc độ ước tính của ba nhóm phương pháp để hồi quy tuyến tính như được phân biệt trong Hastie et al. "Các yếu tố của học thống kê" (tái bản lần 2), Chương 3:

1. Lựa chọn tập hợp con
2. Phương pháp thu nhỏ
3. Phương pháp sử dụng hướng đầu vào dẫn xuất (PCR, PLS)

Sự so sánh có thể rất thô, chỉ để đưa ra một số ý tưởng. Tôi tập hợp rằng các câu trả lời có thể phụ thuộc vào kích thước của vấn đề và mức độ phù hợp với kiến ​​trúc máy tính, vì vậy đối với một ví dụ cụ thể, người ta có thể xem xét cỡ mẫu của 500 và 50 biến hồi quy ứng cử viên. Tôi chủ yếu quan tâm đến động lực đằng sau tốc độ tính toán / độ phức tạp tính toán nhưng không phải là mất bao lâu cho một bộ xử lý nhất định cho ví dụ đã cho.

$2^K$$K$$\mathcal{O}(K^2 n)$$n$$\mathcal{O}(2^K K^2 n)$

$\lambda$$\lambda$$S$$\lambda$$L$$\lambda$$\mathcal{O}(LSK^2 n)$
$\lambda$$\lambda$$\mathcal{O}(LSK^2 n)$
$\mathcal{O}(ALSK^2 n)$$A$$\alpha$

Nhóm 3 :
Tôi vẫn bỏ lỡ bất kỳ lưu ý nào về độ phức tạp / tốc độ cho nhóm 3. bao gồm hồi quy thành phần chính (PCR) và bình phương nhỏ nhất một phần (PLS).

Nó chỉ dành cho một phần của câu hỏi 2 trong nhóm 3 ở trên (cụ thể là PLS), nhưng dù sao cũng có thể là thông tin: Srinivasan et al (2010, báo cáo kỹ thuật; xem https://www.umiacs.umd.edu/~balajiv/Papers/ UMD_CS_TR_Pls_Gpu.pdf ) đã thực hiện một số phép đo trên PLS bằng thuật toán NIPALS - cho biết độ phức tạp thời gian (và không gian) của thuật toán này là O (dN) - để trích xuất và bao gồm cả các mô hình này trong các mô hình khác nhau để phát hiện con người trong hình ảnh và b ) nhận dạng khuôn mặt. Các phép đo đã được thực hiện bằng cách sử dụng triển khai dựa trên GPU của riêng họ.