Câu hỏi được gắn thẻ «shrinkage»

1

Trong điều kiện chính xác, hồi quy sườn có thể cung cấp một cải tiến so với hồi quy bình phương nhỏ nhất bình thường?

Hồi quy độ ước tính các tham số trong mô hình tuyến tính \ mathbf y = \ mathbf X \ boldsymbol \ beta bởi \ hat {\ boldsymbol \ beta} _ \ lambda = (\ mathbf X ^ \ top \ mathbf X + \ lambda \ mathbf I) …

16 regression  ridge-regression  shrinkage 

---

1

Tại sao thì thư giãn của Lasso mật khác với Lasso tiêu chuẩn?

Nếu chúng ta bắt đầu với một tập hợp dữ liệu , áp dụng Lasso cho nó và thu được giải pháp β L , chúng ta có thể áp dụng Lasso một lần nữa cho tập dữ liệu ( X S , Y ) , trong đó S là …

16 regression  optimization  lasso  regularization  shrinkage 

---

2

Tại sao co rút thực sự hoạt động, có gì đặc biệt về 0?

Đã có một bài đăng trên trang web này nói về cùng một vấn đề: Tại sao co rút hoạt động? Nhưng, mặc dù câu trả lời là phổ biến, tôi không tin ý chính của câu hỏi thực sự được giải quyết. Rõ ràng là việc đưa ra một …

15 regularization  ridge-regression  shrinkage 

---

5

James-Stein co rút 'trong tự nhiên'?

Tôi lấy ý tưởng về co rút James-Stein (nghĩa là hàm phi tuyến của một quan sát đơn lẻ của một vectơ có thể là các ước lượng độc lập có thể là một ước lượng tốt hơn về phương tiện của các biến ngẫu nhiên, trong đó 'tốt hơn' …

15 estimation  error  shrinkage  application  steins-phenomenon 

---

4

Lựa chọn hình phạt tối ưu cho Lasso

Có bất kỳ kết quả phân tích hoặc tài liệu thử nghiệm nào liên quan đến việc lựa chọn tối ưu hệ số của thời hạn hình phạt ℓ1ℓ1\ell_1 . Theo tối ưu , tôi có nghĩa là một tham số tối đa hóa xác suất chọn mô hình tốt …

15 model-selection  lasso  shrinkage 

---

2

Co ngót là gì?

Từ co rút được ném xung quanh rất nhiều trong một số vòng tròn nhất định. Nhưng những gì là co lại, dường như không có một định nghĩa rõ ràng. Nếu tôi có một chuỗi thời gian (hoặc bất kỳ tập hợp quan sát nào về quá trình nào …

13 estimation  predictive-models  shrinkage 

---

1

Trực giác về mức độ tự do của LASSO

Zou và cộng sự. "Về" mức độ tự do "của Lasso" (2007) cho thấy số lượng các hệ số khác không là một ước tính không thiên vị và nhất quán cho mức độ tự do của Lasso. Nó có vẻ hơi trái ngược với tôi. Giả sử chúng ta …

12 regression  lasso  degrees-of-freedom  shrinkage 

---

2

Nếu thu hẹp được áp dụng một cách thông minh, nó có luôn hoạt động tốt hơn cho các công cụ ước tính hiệu quả hơn không?

Giả sử tôi có hai công cụ ước tính và là các công cụ ước tính nhất quán của cùng một tham số và sao cho với theo nghĩa psd. Do đó, tiệm cận hiệu quả hơn . Hai công cụ ước tính này dựa trên các hàm mất mát …

11 regression  ridge-regression  shrinkage  penalized 

---

1

Chọn phạm vi và mật độ lưới cho tham số chính quy trong LASSO

Tôi đang nghiên cứu LASSO (toán tử co ngót và lựa chọn tối thiểu tuyệt đối) vào lúc này. Tôi thấy rằng giá trị tối ưu cho tham số chính quy có thể được chọn bằng xác nhận chéo. Tôi cũng thấy trong hồi quy sườn và nhiều phương pháp …

11 lasso  regularization  shrinkage 

---

1

Công cụ ước tính James-Stein với phương sai không bằng nhau

Mỗi tuyên bố tôi tìm thấy về công cụ ước tính James-Stein đều cho rằng các biến ngẫu nhiên được ước tính có cùng phương sai (và đơn vị). Nhưng tất cả các ví dụ này cũng đề cập rằng công cụ ước tính JS có thể được sử dụng …

11 estimation  shrinkage  steins-phenomenon 

---

3

Làm thế nào để có được khoảng tin cậy về thay đổi bình phương dân số

Vì một ví dụ đơn giản, giả sử rằng có hai mô hình hồi quy tuyến tính Mô hình 1 có ba dự đoán, x1a, x2b, vàx2c Mô hình 2 có ba dự đoán từ mô hình 1 và hai dự đoán bổ sung x2avàx2b Có một phương trình hồi …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

---

4

Lasso-ing thứ tự của một độ trễ?

Giả sử tôi có dữ liệu theo chiều dọc có dạng (Tôi có nhiều quan sát, đây chỉ là dạng của một quan sát duy nhất). Tôi quan tâm đến các hạn chế đối với . không bị hạn chế tương đương với việc lấy với .Σ Σ Y j …

9 feature-selection  lasso  shrinkage 

---

2

Phân phối các phần 'không trộn' dựa trên thứ tự hỗn hợp

Giả sử tôi đã ghép các quan sát được vẽ iid là cho . Hãy và biểu thị bởi những thứ giá trị quan sát lớn nhất của . Phân phối (có điều kiện) của gì? (hoặc tương đương, của )i = 1 , 2 , ... , n Z …

9 distributions  order-statistics  shrinkage 

---

1

Kiểm tra hoán vị ngẫu nhiên để lựa chọn tính năng

Tôi bối rối về phân tích hoán vị để lựa chọn tính năng trong bối cảnh hồi quy logistic. Bạn có thể cung cấp một lời giải thích rõ ràng về thử nghiệm hoán vị ngẫu nhiên và cách áp dụng cho lựa chọn tính năng? Có thể với các …

9 regression  logistic  feature-selection  permutation-test  shrinkage 

---

2

Lựa chọn tính năng trên mô hình tuyến tính tổng quát phân cấp Bayes

Tôi đang tìm cách ước tính một GLM phân cấp nhưng với lựa chọn tính năng để xác định các hiệp phương sai nào có liên quan ở cấp độ dân số. Giả sử tôi có các nhóm với quan sát và biến có thể có nghĩa là tôi có …

8 machine-learning  bayesian  feature-selection  hierarchical-bayesian  shrinkage 

---