Tôi đang thực hiện hồi quy logistic mạng đàn hồi trên bộ dữ liệu chăm sóc sức khỏe bằng cách sử dụng glmnetgói trong R bằng cách chọn các giá trị lambda qua lưới từ 0 đến 1. Mã viết tắt của tôi ở bên dưới:$\alpha$

alphalist <- seq(0,1,by=0.1)
elasticnet <- lapply(alphalist, function(a){
  cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001)
})
for (i in 1:11) {print(min(elasticnet[[i]]$cvm))}

đưa ra lỗi xác thực chéo trung bình cho từng giá trị của alpha từ đến với mức tăng :1,0 $0.0$$1.0$$0.1$

[1] 0.2080167
[1] 0.1947478
[1] 0.1949832
[1] 0.1946211
[1] 0.1947906
[1] 0.1953286
[1] 0.194827
[1] 0.1944735
[1] 0.1942612
[1] 0.1944079
[1] 0.1948874

Dựa trên những gì tôi đã đọc trong tài liệu, lựa chọn tối ưu của là nơi giảm thiểu lỗi cv. Nhưng có rất nhiều biến thể trong các lỗi trong phạm vi của bảng chữ cái. Tôi nhìn thấy một vài tối thiểu địa phương, với một lỗi cực tiểu toàn cục của cho .$\alpha$0.1942612alpha=0.8

Có an toàn để đi với alpha=0.8? Hoặc, với biến thể, tôi có nên chạy lại cv.glmnetvới nhiều lần xác thực chéo hơn (ví dụ thay vì ) hoặc có thể là số gia tăng lớn hơn giữa và để có được hình ảnh rõ ràng về đường dẫn lỗi cv?10 $20$$10$$\alpha$alpha=0.01.0

Làm rõ ý nghĩa của các tham số $\alpha$ và Elastic Net

Các thuật ngữ và tham số khác nhau được sử dụng bởi các gói khác nhau, nhưng ý nghĩa nói chung là giống nhau:

Các gói R Glmnet sử dụng định nghĩa sau đây

$\min_{\beta_0,\beta} \frac{1}{N} \sum_{i=1}^{N} w_i l(y_i,\beta_0+\beta^T x_i) + \lambda\left[(1-\alpha)||\beta||_2^2/2 + \alpha ||\beta||_1\right]$

Sklearn sử dụng

$\min_{w} \frac{1}{2N} \sum_{i=1}^{N} ||y - Xw ||^2_2 + \alpha \times l_1 \text{ratio} ||w||_1 + 0.5 \times \alpha \times (1 - l_1 \text{ratio}) \times ||w||_2^2$

Cũng có các tham số thay thế sử dụng và ..$a$$b$

Để tránh nhầm lẫn tôi sẽ gọi

• $\lambda$ tham số cường độ hình phạt
• $L_1 \text{ratio}$ tỷ lệ giữa hình phạt và , từ 0 (sườn núi) đến 1 (lasso)$L_1$$L_2$

Hình dung tác động của các tham số

Hãy xem xét một tập dữ liệu mô phỏng trong đó bao gồm một đường cong hình sin nhiễu và là một tính năng hai chiều bao gồm và . Do mối tương quan giữa và , hàm chi phí là một thung lũng hẹp.$y$$X$$X_1 = x$$X_2 = x^2$$X_1$$X_2$

Đồ họa dưới đây minh họa đường dẫn giải pháp của hồi quy đàn hồi với hai tham số tỷ lệ khác nhau , như là một hàm của tham số cường độ.$L_1$$\lambda$

• Đối với cả hai mô phỏng: khi thì giải pháp là giải pháp OLS ở phía dưới bên phải, với hàm chi phí hình thung lũng liên quan.$\lambda = 0$
• Khi tăng lên, chính quy hóa bắt đầu và giải pháp có xu hướng$\lambda$$(0,0)$
• Sự khác biệt chính giữa hai mô phỏng là tham số tỷ lệ .$L_1$
• LHS : đối với tỷ lệ nhỏ , hàm chi phí thường xuyên trông rất giống với hồi quy Ridge với các đường viền tròn.$L_1$
• RHS : đối với tỷ lệ lớn , hàm chi phí trông rất giống với hồi quy Lasso với các đường viền hình dạng kim cương điển hình.$L_1$
• Đối với tỷ lệ trung gian (không hiển thị), hàm chi phí là kết hợp của cả hai$L_1$

Hiểu ảnh hưởng của các tham số

ElasticNet được giới thiệu để khắc phục một số hạn chế của Lasso, đó là:

• Nếu có nhiều biến hơn điểm dữ liệu , , lasso chọn tối đa biến.$p$$n$$p>n$$n$
• Lasso không thực hiện lựa chọn theo nhóm, đặc biệt là khi có các biến tương quan. Nó sẽ có xu hướng chọn một biến từ một nhóm và bỏ qua các biến khác

Bằng cách kết hợp hình phạt và hình phạt bậc hai, chúng tôi có được những lợi thế của cả hai:$L_1$$L_2$

• $L_1$ tạo ra một mô hình thưa thớt
• $L_2$ loại bỏ giới hạn về số lượng biến được chọn, khuyến khích nhóm và ổn định đường dẫn chính quy .$L_1$

Bạn có thể thấy điều này một cách trực quan trên sơ đồ ở trên, các điểm kỳ dị ở các đỉnh khuyến khích sự thưa thớt , trong khi các cạnh lồi nghiêm ngặt khuyến khích nhóm .

Dưới đây là một hình ảnh được lấy từ Hastie (người phát minh ra ElasticNet)

đọc thêm

• https://web.stanford.edu/~hastie/Papers/B67.2%20(2005)%20301-320%20Zou%20&%20Hastie.pdf
• https://www.researchgate.net/profile/Federico_Andreis/publication/321106005_Shrinkage_methods_ridge_lasso_elastic_nets/links/5a0da3d7aca2729b1f4eablesb/Shrinkage-methods-
• https://web.stanford.edu/~hastie/TALKS/enet_talk.pdf

Hãy để tôi thêm một số nhận xét rất thực tế mặc dù tuổi của câu hỏi. Vì tôi không phải là người dùng R, tôi không thể để mã nói chuyện, tuy nhiên nó vẫn có thể hiểu được.

1. Thông thường, bạn chỉ nên chọn các siêu đường kính (ở đây: ) với điểm CV tốt nhất. Ngoài ra, bạn có thể chọn các mô hình tốt nhất và tạo thành một tập hợp bằng cách tính trung bình số học của hàm quyết định. Điều này, tất nhiên, cung cấp cho bạn sự gia tăng độ phức tạp thời gian chạy. Gợi ý: đôi khi tính trung bình hình học hoạt động tốt hơn . Tôi cho rằng điều này là do ranh giới quyết định kết quả mượt mà hơn.$\alpha$$k$$f_1, ..., f_k$$f(x) = \frac{1}{k}\sum_i{f_i(x)}$f(x)=k √$f(x) = \sqrt[k]{\prod_{i=1}^k{f_i(x)}}$

2. Một lợi thế của việc lấy mẫu lại là bạn có thể kiểm tra chuỗi điểm kiểm tra, đây là điểm của cv. Bạn phải luôn luôn không chỉ nhìn vào mức trung bình mà còn ở độ lệch chuẩn (nó không được phân phối bình thường, nhưng bạn hành động như thể). Thông thường, bạn hiển thị thông báo này là 65,5% (± 2,57%) cho độ chính xác. Bằng cách này, bạn có thể biết liệu "độ lệch nhỏ" có nhiều khả năng là do tình cờ hay về mặt cấu trúc. Thậm chí tốt hơn là kiểm tra các trình tự hoàn chỉnh . Nếu luôn có một lần tắt vì một số lý do, bạn có thể muốn suy nghĩ lại về cách bạn đang thực hiện việc phân tách của mình (nó gợi ý một thiết kế thử nghiệm bị lỗi, cũng: bạn đã xáo trộn?). Trong scikit-learn các GridSearchCVcửa hàng chi tiết về các lần hết hạn trong cv_results_( xem tại đây ).

3. Liên quan đến : càng cao, lưới đàn hồi của bạn sẽ càng có tính năng thưa thớt . Bạn có thể kiểm tra trọng số của các mô hình kết quả, càng cao , càng nhiều sẽ được đặt thành không. Đây là một mẹo hữu ích để loại bỏ các thuộc tính có trọng số được đặt thành 0 từ đường ống của bạn cùng nhau (điều này cải thiện đáng kể hiệu năng thời gian chạy). Một mẹo khác là sử dụng mô hình mạng đàn hồi để lựa chọn tính năng và sau đó đào tạo lại một biến thể . Thông thường, điều này dẫn đến việc tăng hiệu suất mô hình mạnh mẽ vì sự xen kẽ giữa các tính năng đã được lọc ra.$\alpha$$L_1$$\alpha$L 2$L_2$