Câu hỏi được gắn thẻ «ridge-regression»

Nói rằng tôi muốn ước tính một số lượng lớn các tham số và tôi muốn xử phạt một số trong số chúng vì tôi tin rằng chúng sẽ có ít hiệu quả so với các tham số khác. Làm thế nào để tôi quyết định sử dụng chương trình …

167 regression  lasso  ridge-regression 

Tôi đang đọc những cuốn sách về hồi quy tuyến tính. Có một số câu về định mức L1 và L2. Tôi biết họ, chỉ không hiểu tại sao định mức L1 cho các mô hình thưa thớt. Ai đó có thể sử dụng đưa ra một lời giải thích …

97 regression  lasso  regularization  ridge-regression 

Trong trường hợp nào người ta nên xem xét sử dụng các phương pháp chính quy (hồi quy, lasso hoặc hồi quy góc nhỏ nhất) thay vì OLS? Trong trường hợp điều này giúp điều khiển cuộc thảo luận, mối quan tâm chính của tôi là cải thiện độ chính …

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

Ridge hệ số hồi quy ước lượng β R là những giá trị mà giảm thiểuβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Câu hỏi của tôi là: Nếu , sau đó chúng ta thấy rằng các biểu thức trên làm giảm đến RSS bình thường. Điều gì nếu bước sóng → …

71 ridge-regression  statistical-learning  history 

Hãy xem xét ba hiện tượng sau đây. Nghịch lý của Stein: đưa ra một số dữ liệu từ phân phối chuẩn nhiều biến số trong Rn,n≥3Rn,n≥3\mathbb R^n, \: n\ge 3 , mẫu trung bình không phải là một ước lượng rất tốt của giá trị trung bình thật sự. …

64 regression  mixed-model  ridge-regression  shrinkage  steins-phenomenon 

Mùa lễ đã cho tôi cơ hội cuộn tròn bên đống lửa với The Elements of Statistics Learning . Xuất phát từ quan điểm kinh tế lượng (thường xuyên), tôi gặp khó khăn trong việc sử dụng các phương pháp thu nhỏ như hồi quy sườn, lasso và hồi quy …

61 lasso  ridge-regression  shrinkage  lars 

Tôi hiểu rằng ước tính hồi quy sườn núi là giảm thiểu tổng bình phương còn lại và hình phạt đối với kích thước củaββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Tuy nhiên, tôi không hiểu đầy đủ ý nghĩa của thực tế là …

59 regression  least-squares  ridge-regression  shrinkage 

Để giải quyết các vấn đề về lựa chọn mô hình, một số phương thức (LASSO, hồi quy sườn, v.v.) sẽ thu nhỏ các hệ số của các biến dự đoán về 0. Tôi đang tìm kiếm một lời giải thích trực quan về lý do tại sao điều này …

55 lasso  regularization  ridge-regression  intuition  shrinkage 

Xem xét một vấn đề hồi quy cũ tốt với các yếu tố dự đoán và cỡ mẫu . Sự khôn ngoan thông thường là công cụ ước tính OLS sẽ vượt trội và thường sẽ vượt trội hơn so với công cụ ước tính hồi quy sườn:Đó là tiêu …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Tôi đang có một số vấn đề với việc tạo ra giải pháp cho hồi quy sườn núi. Tôi biết giải pháp hồi quy mà không có thuật ngữ chính quy: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. λ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression  least-squares  regularization  ridge-regression 

Tôi chỉ tò mò tại sao thường chỉ có các quy tắc định mức và . Có bằng chứng về lý do tại sao những điều này là tốt hơn?L 2L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression 

Khi sử dụng xác thực chéo để thực hiện lựa chọn mô hình (chẳng hạn như điều chỉnh siêu tham số) và để đánh giá hiệu suất của mô hình tốt nhất, người ta nên sử dụng xác thực chéo lồng nhau . Vòng lặp bên ngoài là để đánh …

36 cross-validation  model-selection  ridge-regression 

Tôi muốn sử dụng Lasso hoặc hồi quy sườn cho một mô hình với hơn 50.000 biến. Tôi muốn làm như vậy bằng cách sử dụng gói phần mềm trong R. Làm cách nào để ước tính tham số co ngót ( )?λλ\lambda Chỉnh sửa: Đây là điểm tôi đã …

36 r  lasso  ridge-regression  high-dimensional 

Trên trang 223 trong phần Giới thiệu về Học thống kê , các tác giả tóm tắt sự khác biệt giữa hồi quy sườn và lasso. Họ cung cấp một ví dụ (Hình 6.9) khi "Lasso có xu hướng vượt trội hơn so với hồi quy sườn núi về độ …

36 machine-learning  prediction  lasso  regularization  ridge-regression 

Là chính quy hóa mạng đàn hồi luôn được ưa thích đối với Lasso & Ridge vì nó dường như giải quyết được nhược điểm của các phương pháp này? Trực giác là gì và toán học đằng sau lưới đàn hồi là gì?

35 regression  lasso  regularization  ridge-regression  elastic-net