Câu hỏi được gắn thẻ «lasso»

Tôi muốn sử dụng Lasso hoặc hồi quy sườn cho một mô hình với hơn 50.000 biến. Tôi muốn làm như vậy bằng cách sử dụng gói phần mềm trong R. Làm cách nào để ước tính tham số co ngót ( )?λλ\lambda Chỉnh sửa: Đây là điểm tôi đã …

36 r  lasso  ridge-regression  high-dimensional 

Trên trang 223 trong phần Giới thiệu về Học thống kê , các tác giả tóm tắt sự khác biệt giữa hồi quy sườn và lasso. Họ cung cấp một ví dụ (Hình 6.9) khi "Lasso có xu hướng vượt trội hơn so với hồi quy sườn núi về độ …

36 machine-learning  prediction  lasso  regularization  ridge-regression 

Là chính quy hóa mạng đàn hồi luôn được ưa thích đối với Lasso & Ridge vì nó dường như giải quyết được nhược điểm của các phương pháp này? Trực giác là gì và toán học đằng sau lưới đàn hồi là gì?

35 regression  lasso  regularization  ridge-regression  elastic-net 

Tôi là một kỹ sư phần mềm học máy học, đặc biệt thông qua các khóa học máy của Andrew Ng . Trong khi nghiên cứu hồi quy tuyến tính với chính quy , tôi đã tìm thấy các thuật ngữ khó hiểu: Hồi quy với chuẩn hóa L1 hoặc …

33 regression  terminology  lasso  regularization  ridge-regression 

Làm thế nào để so sánh các phương pháp chuẩn hóa sườn núi, LASSO và thunnet? Ưu điểm và nhược điểm tương ứng của họ là gì? Bất kỳ bài viết kỹ thuật tốt, hoặc ghi chú bài giảng cũng sẽ được đánh giá cao.

33 references  lasso  regularization  ridge-regression  elastic-net 

Có thể tính giá trị AIC hoặc BIC cho các mô hình hồi quy lasso và các mô hình chính quy khác trong đó các tham số chỉ nhập một phần vào phương trình. Làm thế nào để xác định mức độ tự do? Tôi đang sử dụng R để …

31 r  model-selection  lasso  aic  bic 

Lưu ý: Tôi biết rằng L1 có thuộc tính lựa chọn. Tôi đang cố gắng hiểu cái nào sẽ chọn khi lựa chọn tính năng là hoàn toàn không liên quan. Làm thế nào để quyết định sử dụng chính quy (L1 hoặc L2)? Những ưu và nhược điểm của …

30 regression  lasso  regularization  ridge-regression 

Đối với LASSO (và các quy trình chọn mô hình khác), điều quan trọng là phải hủy bỏ các yếu tố dự đoán. Các chung đề nghị tôi theo cách đơn giản là sử dụng một 0 bình, 1 bình thường độ lệch chuẩn cho các biến liên tục. Nhưng …

30 predictive-models  model-selection  lasso  standardization  multidimensional-scaling 

Tôi sử dụng hàm auto.arima () trong gói dự báo để phù hợp với các mô hình ARMAX với nhiều biến số khác nhau. Tuy nhiên, tôi thường có một số lượng lớn các biến để chọn và thường kết thúc với một mô hình cuối cùng hoạt động với …

29 r  time-series  lasso  regularization  elastic-net 

Vấn đề lasso có giải pháp dạng đóng: nếu có các cột trực giao. Điều này đã được thể hiện trong chủ đề này: Dẫn xuất của giải pháp lasso dạng đóng .β Lasso j = s g n ( β LS j ) ( | β LS j | …

28 regression  lasso  regularization 

Tôi đã đọc ba lý do chính để chuẩn hóa các biến trước khi một số thứ như Lassohồi quy: 1) Khả năng giải thích của các hệ số. 2) Khả năng xếp hạng tầm quan trọng của hệ số theo độ lớn tương đối của ước tính hệ số …

28 normalization  lasso  standardization  regularization  shrinkage 

Khi tôi sử dụng GAM, nó mang lại cho tôi DF còn lại là (dòng cuối cùng trong mã). Điều đó nghĩa là gì? Vượt ra ngoài ví dụ về GAM, nói chung, số bậc tự do có thể là một số không nguyên?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

Tôi đã đọc trong một số tài liệu tham khảo rằng ước tính Lasso cho vectơ tham số hồi quy tương đương với chế độ sau của trong đó phân phối trước cho mỗi B_i là phân phối lũy thừa kép (còn được gọi là phân phối Laplace).B B iBBBBBBBiBiB_i …

27 regression  bayesian  lasso  prior  regularization 

Tôi đã từng nghe một phương pháp sử dụng Lasso hai lần (như một Lasso đôi) trong đó bạn thực hiện Lasso trên tập biến ban đầu, giả sử S1, lấy một tập thưa thớt gọi là S2, và sau đó thực hiện lại Lasso trên tập S2 để lấy …

26 regression  lasso  regularization  shrinkage  lars 

L(β)=(Xβ−y)′(Xβ−y)+λ∥β∥1,L(β)=(Xβ−y)′(Xβ−y)+λ‖β‖1,L(\beta)=(X\beta-y)'(X\beta-y)+\lambda\|\beta\|_1,kkkβ^lasso=(β^lasso1,β^lasso2,...,β^lassok,0,...0)β^lasso=(β^1lasso,β^2lasso,...,β^klasso,0,...0)\hat{\beta}^{lasso}=\left(\hat{\beta}_1^{lasso},\hat{\beta}_2^{lasso},...,\hat{\beta}_k^{lasso},0,...0\right) Chúng tôi biết rằng (β^lasso1,β^lasso2,...,β^lassok)(β^1lasso,β^2lasso,...,β^klasso)\left(\hat{\beta}_1^{lasso},\hat{\beta}_2^{lasso},...,\hat{\beta}_k^{lasso}\right) là một ước tính sai lệch của (β1,β2,...,βk)(β1,β2,...,βk)\left(\beta_1,\beta_2,...,\beta_k\right) , vậy tại sao chúng ta vẫn lấy β^lassoβ^lasso\hat{\beta}^{lasso} làm giải pháp cuối cùng, thay vì 'hợp lý' hơn β^new=(β^new1:k,0,...,0)β^new=(β^1:knew,0,...,0)\hat{\beta}^{new}=\left(\hat{\beta}_{1:k}^{new},0,...,0\right) , trong đó β^new1:kβ^1:knew\hat{\beta}_{1:k}^{new} là ước tính LS từ mô hình một phần Lnew(β1:k)=(X1:kβ−y)′(X1:kβ−y)Lnew(β1:k)=(X1:kβ−y)′(X1:kβ−y)L^{new}(\beta_{1:k})=(X_{1:k}\beta-y)'(X_{1:k}\beta-y) . ( …

26 regression  feature-selection  lasso  regularization