Ước lượng tham số với các mô hình tuyến tính tổng quát

Theo mặc định khi chúng ta sử dụng một glmhàm trong R, nó sử dụng phương pháp bình phương tối thiểu lặp lại (IWLS) để tìm ước lượng khả năng tối đa của các tham số. Bây giờ tôi có hai câu hỏi.

1. Các ước tính của IWLS có đảm bảo mức tối đa toàn cầu của hàm khả năng không? Dựa trên slide cuối cùng trong bài trình bày này , tôi nghĩ là không! Tôi chỉ muốn chắc chắn về điều đó.
2. Chúng ta có thể nói rằng lý do cho câu hỏi 1 ở trên là vì thực tế là hầu như tất cả các phương pháp tối ưu hóa số có thể bị kẹt ở mức tối đa cục bộ chứ không phải là mức tối đa toàn cầu?

Khi bạn đang cố gắng ước tính các tham số, bạn luôn muốn có một giải pháp dạng đóng. Tuy nhiên, một người không phải lúc nào cũng tồn tại (tôi cho rằng có thể trong một số trường hợp có thể có một nhưng hiện tại vẫn chưa rõ). Khi một giải pháp dạng đóng không tồn tại, một số chiến lược heuristic phải được sử dụng để tìm kiếm trên không gian tham số để ước tính tham số tốt nhất có thể sử dụng. Có nhiều chiến lược tìm kiếm như vậy (ví dụ: trong R, ? Optim liệt kê 6 phương pháp mục đích chung). IRWLS là phiên bản đơn giản hóa của thuật toán Newton-Raphson .

Thật không may, câu trả lời cho [ 1 ] của bạn là không có chiến lược tìm kiếm heuristic nào được đảm bảo để tìm mức tối thiểu toàn cầu (tối đa). Có ba lý do tại sao đó là trường hợp:

1. Như đã lưu ý trên slide 9 của bản trình bày được liên kết của bạn, không có giải pháp duy nhất nào có thể tồn tại. Các ví dụ về điều này có thể là đa cộng tuyến hoàn hảo hoặc khi có nhiều tham số được ước tính hơn so với dữ liệu .
2. Như đã lưu ý trên slide 10 (bài thuyết trình đó khá hay, tôi nghĩ vậy), giải pháp có thể là vô hạn. Điều này có thể xảy ra trong hồi quy logistic, ví dụ, khi bạn có sự tách biệt hoàn hảo .

3. Nó cũng có thể là trường hợp có một mức tối thiểu toàn cầu hữu hạn (tối đa), nhưng thuật toán không tìm thấy nó. Các thuật toán này (đặc biệt là IRWLS và NR) có xu hướng bắt đầu từ một vị trí được chỉ định và 'nhìn xung quanh' để xem nếu di chuyển theo một số hướng có cấu thành 'xuống dốc' (nghĩa là cải thiện sự phù hợp). Nếu vậy, nó sẽ khớp lại ở một khoảng cách nào đó theo hướng đó và lặp lại cho đến khi cải thiện được dự đoán / dự đoán nhỏ hơn một số ngưỡng. Do đó, có thể có hai cách để không đạt đến mức tối thiểu toàn cầu:

   1. Tốc độ gốc từ vị trí hiện tại hướng tới mức tối thiểu toàn cầu (tối đa) quá nông để vượt qua ngưỡng và thuật toán dừng ngay giải pháp.
   2. Có một mức tối thiểu cục bộ (tối đa) giữa vị trí hiện tại và mức tối thiểu toàn cầu (tối đa), do đó, có vẻ như thuật toán chuyển động tiếp theo sẽ dẫn đến sự phù hợp tồi tệ hơn .

Về [ 2 ] của bạn , hãy lưu ý rằng các chiến lược tìm kiếm khác nhau có xu hướng khác nhau sẽ bị bắt trong cực tiểu địa phương. Ngay cả cùng một chiến lược đôi khi cũng có thể được điều chỉnh hoặc bắt đầu từ một điểm bắt đầu khác để giải quyết hai vấn đề sau.

Bạn nói đúng rằng, nói chung, IWLS, giống như các phương thức tối ưu hóa số khác, chỉ có thể đảm bảo hội tụ đến mức tối đa cục bộ, nếu chúng thậm chí còn hội tụ. Đây là một ví dụ hay trong đó giá trị bắt đầu nằm ngoài miền hội tụ cho thuật toán được sử dụng bởi glm () trong R. Tuy nhiên, điều đáng chú ý là đối với GLM có liên kết chính tắc, khả năng là lõm, xem tại đây . Do đó, nếu thuật toán hội tụ, nó sẽ hội tụ sang chế độ toàn cầu!

Vấn đề cuối cùng được chỉ ra trong slide là một vấn đề trong đó MLE cho một paramter ở vô cực. Điều này có thể xảy ra trong hồi quy logistic, nơi tồn tại sự tách biệt hoàn toàn. Trong trường hợp như vậy, bạn sẽ nhận được một thông báo cảnh báo rằng các xác suất được trang bị là 0 hoặc 1. Điều quan trọng cần lưu ý là khi điều này xảy ra, thuật toán không hội tụ về chế độ, do đó điều này không liên quan đến thuật toán bị mắc kẹt trong một tối đa địa phương.