Một số trong những bài báo đầu tiên quan trọng nhất về phương pháp chính quy là gì?

Trong một số câu trả lời tôi đã thấy người dùng CrossValidated đề nghị OP tìm các bài báo sớm về Lasso, Ridge và Elastic Net.

Đối với hậu thế, các tác phẩm tinh xảo trên Lasso, Ridge và Elastic Net là gì?

Vì bạn chỉ đơn giản là tìm kiếm tài liệu tham khảo, đây là danh sách:

1. Tikhonov, Andrey Nikolayevich (1943). "Бббббббббббббббб Doklady Akademii Nauk SSSR. 39 (5): 195 Vang198.
2. Tikhonov, AN (1963). "Р р р р р р е Doklady Akademii Nauk SSSR. 151: 501 xăng504 .. Được dịch trong "Giải pháp cho các vấn đề được xây dựng không chính xác và phương pháp chính quy". Toán học Liên Xô. 4: 1035 Ném1038.
3. Hoerl AE, 1962, Ứng dụng phân tích sườn núi cho các vấn đề hồi quy, Tiến trình kỹ thuật hóa học, 1958, 54 Quay59.
4. Arthur E. Hoerl; Robert W. Kennard (1970). "Hồi quy độ dốc: Ước tính thiên vị cho các vấn đề phi chính thống". Kỹ thuật. 12 (1): 55 trận67. doi: 10.2307 / 1267351. https://pdfs.semanticscholar.org/910e/d31ef5532dcbcf0bd01a980b1f79b9086fca.pdf
5. Tibshirani, Robert (1996). "Thu hẹp và lựa chọn hồi quy thông qua Lasso" (PostScript). Tạp chí của Hiệp hội Thống kê Hoàng gia, sê-ri B. 58 (1): 267 Từ288. MR 1379242 https://statweb.stanford.edu/~tibs/lasso/lasso.pdf
6. Zou, H. và Hastie, T. (2005). Chính quy và lựa chọn biến qua lưới đàn hồi. Tạp chí của Hiệp hội Thống kê Hoàng gia, sê-ri B. 67: Trang 301. https://web.stanford.edu/~hastie/Papers/B67.2%20%282005%29%20301-320%20Zou%20&%20Hastie.pdf

Một bài báo quan trọng trong lịch sử mà tôi tin rằng lần đầu tiên đã chứng minh rằng các công cụ ước tính sai lệch có thể dẫn đến các ước tính được cải thiện cho các mô hình tuyến tính thông thường:

• Stein, C., 1956, tháng giêng. Tính không khả dụng của công cụ ước tính thông thường đối với giá trị trung bình của phân phối chuẩn nhiều biến số. Trong Kỷ yếu của Hội nghị chuyên đề Berkeley lần thứ ba về thống kê và xác suất toán học (Tập 1, Số 399, trang 197-206).

Một vài hình phạt hiện đại và quan trọng hơn bao gồm SCAD và MCP:

• Fan, J. và Li, R., 2001. Lựa chọn biến qua khả năng bị phạt không thể xử lý và các đặc tính tiên tri của nó. Tạp chí của Hiệp hội thống kê Hoa Kỳ, 96 (456), tr.1348-1360.
• Zhang, CH, 2010. Gần như lựa chọn biến thiên vị theo hình phạt lõm minimax. Biên niên sử thống kê, 38 (2), tr.894-942.

Và một số chi tiết khác về các thuật toán rất tốt để có được ước tính bằng các phương pháp sau:

• Breheny, P. và Huang, J., 2011. Phối hợp các thuật toán gốc cho hồi quy bị phạt không lồi, với các ứng dụng để lựa chọn tính năng sinh học. Biên niên sử của thống kê áp dụng, 5 (1), tr.232.
• Mazumder, R., Friedman, JH và Hastie, T., 2011. Sparsenet: Phối hợp gốc với các hình phạt không liên quan. Tạp chí của Hiệp hội Thống kê Hoa Kỳ, 106 (495), tr.1125-1138.

Cũng đáng xem là bài viết này về bộ chọn Dantzig có liên quan rất chặt chẽ với LASSO, nhưng (tôi tin) nó đưa ra ý tưởng về sự bất bình đẳng orory cho các công cụ ước tính thống kê là một ý tưởng khá mạnh mẽ

• Candes, E. và Tao, T., 2007 Bộ chọn Dantzig: Ước tính thống kê khi p lớn hơn n. Biên niên sử thống kê, tr.2313-2351.