Câu hỏi được gắn thẻ «ridge-regression»

Câu hỏi Điều gì để kết luận từ cốt truyện Lasso này (glmnet) cho thấy các đường dẫn giải pháp cho công cụ ước tính Lasso không đơn điệu. Đó là, một số quan tài phát triển về giá trị tuyệt đối trước khi chúng co lại. Tôi đã áp …

18 lasso  ridge-regression  elastic-net 

Tôi đang sử dụng hồi quy sườn trên dữ liệu đa hướng cao. Sử dụng OLS tôi nhận được các lỗi tiêu chuẩn lớn trên các hệ số do tính đa hình. Tôi biết hồi quy sườn là một cách để giải quyết vấn đề này, nhưng trong tất cả …

18 standard-error  ridge-regression 

Sự khác biệt giữa hồi quy Primal , Dual và Kernel Ridge là gì? Mọi người đang sử dụng cả ba và vì ký hiệu khác nhau mà mọi người sử dụng ở các nguồn khác nhau rất khó để tôi theo dõi. Vì vậy, ai đó có thể nói …

18 regression  kernel-trick  ridge-regression 

Công cụ ước tính hồi quy hình phạt như LASSO và sườn núi được cho là tương ứng với công cụ ước tính Bayes với một số linh mục nhất định. Tôi đoán (vì tôi không biết đủ về thống kê Bayes) rằng đối với một tham số điều chỉnh …

17 bayesian  lasso  ridge-regression 

df(λ)=∑i=1pd2id2i+λ,df(λ)= =ΣTôi= =1pdTôi2dTôi2+λ,\mathrm{df}(\lambda)=\sum_{i=1}^{p}\frac{d_i^2}{d_i^2+\lambda},d2idTôi2d_i^2XTXXTXX^TXdf(λmax)≈0df(λtối đa)≈0\mathrm{df}(\lambda_{\max})\approx 0df(λmin)=pdf(λtối thiểu)= =p\mathrm{df}(\lambda_{\min})=pλmax=∑pid2i/cλtối đa= =ΣTôipdTôi2/c\lambda_{\max}=\sum_i^p d_i^2/cλmax≫d2iλtối đa»dTôi2\lambda_{\max} \gg d_i^2ccclà một hằng số nhỏ và đại diện cho mức độ tự do tối thiểu mà bạn muốn lấy mẫu (ví dụ: c=0.1c= =0,1c=0.1 ). Tất nhiên giới hạn thứ hai là λmin=0λtối thiểu= =0\lambda_{\min}=0 . Như tiêu …

17 ridge-regression 

Trong một thử nghiệm để phân loại văn bản, tôi đã tìm thấy trình phân loại sườn núi tạo ra kết quả liên tục đứng đầu các bài kiểm tra trong số các trình phân loại thường được đề cập và áp dụng cho các tác vụ khai thác văn …

17 machine-learning  classification  text-mining  ridge-regression 

Tôi biết về lợi ích của việc chính quy hóa khi xây dựng các mô hình dự đoán (sai lệch so với phương sai, ngăn ngừa quá mức). Nhưng, tôi tự hỏi liệu có nên thực hiện chính quy hóa (lasso, sườn, lưới đàn hồi) hay không khi mục đích …

17 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Hãy xem xét một vấn đề tiêu chuẩn OLS hồi quy \newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin} : Tôi có ma trận YY\Y và XX\X và tôi muốn tìm ββ\B để thu nhỏ L=∥Y−Xβ∥2.L=‖Y−Xβ‖2.L=\|\Y-\X\B\|^2. Giải pháp được đưa ra bởi β^=argminβ{L}=(X⊤X)+X⊤Y.β^=argminβ⁡{L}=(X⊤X)+X⊤Y.\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y. Tôi cũng có thể đặt ra vấn đề "đảo …

16 regression  least-squares  ridge-regression 

Khi giải thích hồi quy LASSO, sơ đồ của một viên kim cương và hình tròn thường được sử dụng. Người ta nói rằng vì hình dạng của ràng buộc trong LASSO là một viên kim cương, giải pháp bình phương nhỏ nhất thu được có thể chạm vào góc …

16 regression  lasso  ridge-regression 

Hồi quy độ ước tính các tham số trong mô hình tuyến tính \ mathbf y = \ mathbf X \ boldsymbol \ beta bởi \ hat {\ boldsymbol \ beta} _ \ lambda = (\ mathbf X ^ \ top \ mathbf X + \ lambda \ mathbf I) …

16 regression  ridge-regression  shrinkage 

Tôi có một bộ gồm 150 tính năng và nhiều trong số chúng có mối tương quan cao với nhau. Mục tiêu của tôi là dự đoán giá trị của một biến rời rạc, có phạm vi là 1-8 . Cỡ mẫu của tôi là 550 và tôi đang sử …

16 regression  lasso  regularization  ridge-regression  elastic-net 

Trong hồi quy Lasso hoặc sườn núi, người ta phải xác định một tham số co rút, thường được gọi bằng hoặc α . Giá trị này thường được chọn thông qua xác nhận chéo bằng cách kiểm tra một loạt các giá trị khác nhau trên dữ liệu huấn …

16 regression  lasso  regularization  ridge-regression  penalized 

Đã có một bài đăng trên trang web này nói về cùng một vấn đề: Tại sao co rút hoạt động? Nhưng, mặc dù câu trả lời là phổ biến, tôi không tin ý chính của câu hỏi thực sự được giải quyết. Rõ ràng là việc đưa ra một …

15 regularization  ridge-regression  shrinkage 

Tôi nhận thức được LASSO, sườn và loại mạng lưới đàn hồi trong các mô hình hồi quy tuyến tính. Câu hỏi: Có thể áp dụng loại ước tính bị phạt này (hoặc tương tự) cho mô hình ARIMA (với phần MA không trống) không? pmaxpmaxp_{max}qmaxqmaxq_{max}p⩽pmaxp⩽pmaxp \leqslant p_{max}q⩽qmaxq⩽qmaxq \leqslant q_{max} …

15 time-series  arima  lasso  regularization  ridge-regression 

Tôi đang thử xem có nên sử dụng hồi quy sườn , LASSO , hồi quy thành phần chính (PCR) hay Bình phương tối thiểu (PLS) trong tình huống có số lượng lớn biến / tính năng ( ppp ) và số lượng mẫu nhỏ hơn ( n<pn<pn np>10np>10np>10n Các …

15 regression  pca  lasso  ridge-regression  partial-least-squares