Câu hỏi được gắn thẻ «ridge-regression»

Tôi đã nghe nói rằng hồi quy sườn có thể được coi là giá trị trung bình của phân phối sau, nếu ưu tiên được chọn đầy đủ. Có phải trực giác rằng các ràng buộc như được đặt trên các hệ số hồi quy theo trước (ví dụ: phân …

15 bayesian  prior  ridge-regression 

Trong "Các yếu tố của học thống kê" (tái bản lần 2), p63, các tác giả đưa ra hai công thức sau của bài toán hồi quy sườn núi: β^r i dge= argminβ{ Σi = 1N( yTôi- β0- Σj = 1pxtôi jβj)2+ Bước sóng Σj = 1pβ2j}β^rTôidge= =argminβ{ΣTôi= =1N(yTôi-β0-Σj= =1pxTôijβj)2+λΣj= …

15 ridge-regression 

Tôi đã đọc những cuốn sách phổ biến nhất trong học thống kê 1- Các yếu tố của học thống kê. 2- Giới thiệu về học thống kê . Cả hai đều đề cập rằng hồi quy sườn có hai công thức tương đương nhau. Có một bằng chứng toán …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Khi chạy hồi quy sườn núi, làm thế nào để bạn giải thích hệ số mà cuối lên lớn hơn hệ số tương ứng của họ theo phương nhỏ nhất (đối với giá trị nhất định của )? Không phải là hồi quy sườn cho các hệ số thu nhỏ …

14 interpretation  regression-coefficients  ridge-regression 

Trong hồi quy sườn núi, hàm mục tiêu để được giảm thiểu là: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Điều này có thể được tối ưu hóa bằng phương pháp số nhân Lagrange không? Hay là sự khác biệt thẳng?

14 regression  regularization  ridge-regression 

Hiểu biết chung của tôi là AIC liên quan đến sự đánh đổi giữa mức độ phù hợp của mô hình và độ phức tạp của mô hình. Một tôiC= 2 k - 2 l n ( L )MộtTôiC= =2k-2tôin(L)AIC =2k -2ln(L) kkk = số lượng tham số trong mô …

14 cross-validation  lasso  aic  ridge-regression  bic 

Tôi muốn tính AICc của mô hình hồi quy sườn. Vấn đề là số lượng tham số. Đối với hồi quy tuyến tính, hầu hết mọi người đề xuất rằng số lượng tham số bằng số lượng hệ số ước tính cộng với sigma (phương sai của lỗi). Khi nói …

13 regression  aic  ridge-regression  degrees-of-freedom 

Tôi đang tìm hiểu về hồi quy sườn và biết rằng hồi quy sườn có xu hướng hoạt động tốt hơn khi có sự đa hình. Tôi tự hỏi tại sao điều này là đúng? Một câu trả lời trực quan hoặc một câu trả lời toán học sẽ thỏa …

13 multicollinearity  ridge-regression 

Tôi đang sử dụng gói 'lars' trong R với mã sau: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Tôi đã đọc rằng có thể đạt được hồi quy sườn bằng cách thêm các hàng dữ liệu vào ma trận dữ liệu gốc, trong đó mỗi hàng được xây dựng bằng 0 cho các biến phụ thuộc và căn bậc hai của hoặc 0 cho các biến độc lập. …

12 logistic  generalized-linear-model  ridge-regression 

Tôi đang tìm tài liệu về hồi quy sườn âm . Nói tóm lại, đó là một khái quát của hồi quy sườn tuyến tính bằng cách sử dụng âm trong công thức ước tính:Trường hợp tích cực có một lý thuyết hay: như một hàm mất mát, như một …

12 regression  regularization  ridge-regression 

Bài đăng này theo sau bài này: Tại sao ước tính sườn núi trở nên tốt hơn OLS bằng cách thêm một hằng số vào đường chéo? Đây là câu hỏi của tôi: Theo như tôi biết, chính quy hóa sườn núi sử dụng -norm (khoảng cách euclide). Nhưng tại …

12 lasso  regularization  ridge-regression 

Theo tài liệu tham khảo Quyển 1 , Quyển 2 và giấy . Nó đã được đề cập rằng có một sự tương đương giữa hồi quy chính quy (Ridge, LASSO và Elastic Net) và các công thức ràng buộc của chúng. Tôi cũng đã xem xét Xác thực chéo …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Tôi đang chạy mô hình hồi quy cả với Lasso và Ridge (để dự đoán một biến kết quả rời rạc từ 0-5). Trước khi chạy mô hình, tôi sử dụng SelectKBestphương pháp scikit-learnđể giảm bộ tính năng từ 250 xuống 25 . Nếu không có lựa chọn tính năng …

11 regression  predictive-models  feature-selection  lasso  ridge-regression 

Giả sử tôi có hai công cụ ước tính và là các công cụ ước tính nhất quán của cùng một tham số và sao cho với theo nghĩa psd. Do đó, tiệm cận hiệu quả hơn . Hai công cụ ước tính này dựa trên các hàm mất mát …

11 regression  ridge-regression  shrinkage  penalized