Câu hỏi được gắn thẻ «ridge-regression»

Tôi đã có một ý tưởng về ưu và nhược điểm của hồi quy sườn và LASSO. Đối với LASSO, thời hạn phạt L1 sẽ mang lại một vectơ hệ số thưa thớt, có thể được xem như một phương pháp lựa chọn tính năng. Tuy nhiên, có một số …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Tôi đã áp dụng một số dữ liệu để tìm giải pháp biến tốt nhất của mô hình hồi quy bằng hồi quy sườn trong R. Tôi đã sử dụng lm.ridgevà glmnet(khi alpha=0), nhưng kết quả rất khác nhau, đặc biệt là khi lambda=0. Nó giả sử rằng cả hai …

11 r  regression  ridge-regression  glmnet 

Sau khi đọc Chương 3 về các yếu tố của học thống kê (Hastie, Tibshrani & Friedman), tôi tự hỏi liệu có thể thực hiện các phương pháp thu nhỏ nổi tiếng được trích dẫn trên tiêu đề của câu hỏi này với cấu trúc hiệp phương sai, nghĩa là …

11 lasso  ridge-regression 

Đặt A là ma trận của các biến độc lập và B là ma trận tương ứng của các giá trị phụ thuộc. Trong hồi quy sườn núi, chúng ta định nghĩa một tham số để: . Bây giờ hãy để [usv] = svd (A) và mục nhập chéo của …

11 ridge-regression 

Tôi đang làm việc trên một số dự án mô hình dự đoán những ngày này: cố gắng tìm hiểu một mô hình và đưa ra dự đoán theo thời gian thực dựa trên mô hình mà tôi đã học ngoại tuyến. Gần đây tôi đã bắt đầu sử dụng …

11 regression  prediction  multicollinearity  ridge-regression 

Trong một số câu trả lời tôi đã thấy người dùng CrossValidated đề nghị OP tìm các bài báo sớm về Lasso, Ridge và Elastic Net. Đối với hậu thế, các tác phẩm tinh xảo trên Lasso, Ridge và Elastic Net là gì?

10 references  lasso  regularization  ridge-regression  elastic-net 

Tôi đã đọc mô tả về hồi quy sườn trong Mô hình thống kê tuyến tính ứng dụng , Ed thứ 5 chương 11. Hồi quy sườn được thực hiện trên dữ liệu mỡ cơ thể có sẵn ở đây . Sách giáo khoa khớp với đầu ra trong SAS, …

10 r  sas  ridge-regression 

Làm thế nào để thực hiện hồi quy sườn không âm? Lasso không âm có sẵn trong scikit-learn, nhưng đối với sườn núi, tôi không thể thực thi phi âm của betas, và thực sự, tôi đang nhận được hệ số âm. Có ai biết tại sao điều này? Ngoài …

10 regression  lasso  regularization  ridge-regression 

Tôi hiểu rằng chúng ta có thể sử dụng chính quy trong bài toán hồi quy bình phương nhỏ nhất như w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] và rằng vấn đề này có một giải pháp dạng đóng như: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Chúng ta thấy rằng trong …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Ridge Regression có thể được thể hiện dưới dạng y = ( X ' X + một Tôi d ) - 1 X x nơi y được nhãn dự đoán, tôi d các d × d xác định ma trận, x đối tượng chúng ta đang cố gắng tìm một …

10 regression  ridge-regression  kernel-trick 

Tôi dường như đang hiểu nhầm một tuyên bố về các phương pháp hồi quy tuyến tính mà tôi đã thấy ở nhiều nơi. Các tham số của vấn đề là: Đầu vào: NNN mẫu dữ liệu của số lượng mỗi đại lượng bao gồm số lượng "phản hồi" y_i …

10 regression  ridge-regression 

Tôi biết rằng thông thường là tiêu chuẩn hóa các tính năng cho hồi quy sườn và lasso, tuy nhiên, liệu có thực tế hơn khi bình thường hóa các tính năng trên thang đo (0,1) thay thế cho tiêu chuẩn hóa điểm z cho các phương pháp hồi quy …

9 normalization  lasso  standardization  ridge-regression 

Tôi đang làm việc để xác thực chéo dự đoán dữ liệu của mình với 200 đối tượng và 1000 biến. Tôi quan tâm đến hồi quy sườn vì số lượng biến (tôi muốn sử dụng) lớn hơn số lượng mẫu. Vì vậy, tôi muốn sử dụng ước tính co …

9 r  cross-validation  prediction  ridge-regression 

Tôi đang làm việc trên một mô hình chi phí dự đoán trong đó tuổi của bệnh nhân (số lượng nguyên được đo bằng năm) là một trong những biến dự đoán. Một mối quan hệ phi tuyến mạnh mẽ giữa tuổi và nguy cơ nằm viện là điều hiển …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Khi , bài toán bình phương nhỏ nhất áp dụng giới hạn hình cầu trên giá trị của có thể được viết là cho một hệ thống quá hạn. \ | \ cdot \ | _2 là chỉ tiêu Euclide của một vectơ.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ …

9 regression  least-squares  regularization  ridge-regression  underdetermined