Fisher chấm điểm v / s Phối hợp gốc cho MLE trong R

Hàm cơ sở R glm()sử dụng Ghi điểm Fishers cho MLE, trong khi glmnetdường như sử dụng phương pháp gốc tọa độ để giải phương trình tương tự. Phối hợp gốc có hiệu quả về thời gian hơn so với Ghi điểm của Fisher, vì Ghi điểm của Fisher tính toán ma trận đạo hàm bậc hai, bên cạnh một số phép toán ma trận khác. Điều này làm cho tốn kém để thực hiện, trong khi phối hợp gốc có thể thực hiện cùng một nhiệm vụ trong thời gian O (np).

Tại sao chức năng cơ sở R sẽ sử dụng tính năng Ghi điểm? Liệu phương pháp này có một lợi thế hơn các phương pháp tối ưu hóa khác? Làm thế nào để phối hợp gốc và Fisher chấm điểm so sánh? Tôi còn khá mới để làm lĩnh vực này vì vậy bất kỳ trợ giúp hoặc tài nguyên nào cũng sẽ hữu ích.

Cách duy nhất để chắc chắn là bằng điểm chuẩn, nhưng đối với glm, việc ghi điểm của Fisher phải nhanh hơn so với việc điều phối giảm dần. Ghi điểm của Fisher là trường hợp đặc biệt của Newton Raphson, có tốc độ hội tụ nhanh hơn so với gốc tọa độ (Newton-Raphson là hội tụ bậc hai, trong khi tọa độ gốc là hội tụ tuyến tính.) Vì vậy, trong khi việc tính toán thông tin phái sinh thứ hai có nghĩa là mỗi bước sẽ có nhiều bước hơn. thời gian, nó có thể yêu cầu nhiều bước ít hơn so với phối hợp gốc.

Đối với Lasso, hình thức đặc biệt của thời hạn hình phạt làm cho nó trở thành một trường hợp rất đặc biệt (và trên thực tế, giá trị tuyệt đối không phải là khác biệt, mặc dù đôi khi bạn có thể giải thích điều này). Đối với vấn đề đặc biệt này, phối hợp gốc chứng tỏ là đặc biệt nhanh. Có nhiều vấn đề tối ưu hóa khác trong đó trên thực tế Newton-Raphson nhanh hơn.