Tôi đã đọc trong một cuốn sách học máy rằng các tham số của hồi quy tuyến tính có thể được ước tính (trong số các phương pháp khác) bằng cách giảm độ dốc, trong khi các tham số của hồi quy logistic thường được ước tính bằng ước lượng khả năng tối đa.
Có thể giải thích cho một người mới (tôi) tại sao chúng ta cần các phương pháp khác nhau cho hồi quy tuyến tính / logistic. aka tại sao không MLE cho hồi quy tuyến tính và tại sao không giảm độ dốc cho hồi quy logistic?
Câu trả lời:
Bạn đang nhầm lẫn táo với cam. Không sao đâu, vì cả hai đều ngon.
Ước tính khả năng tối đa là về những gì bạn giảm thiểu, độ dốc giảm dần là về cách bạn giảm thiểu nó.
Tại sao không MLE cho hồi quy tuyến tính?
Trong thực tế, hồi quy tuyến tính được giải quyết với ước tính khả năng tối đa. Phương pháp "tối thiểu hóa tổng sai số bình phương" chính xác tương đương về mặt toán học với ước tính khả năng tối đa bằng cách sử dụng phân phối chuẩn có điều kiện.
Tại sao không giảm độ dốc cho hồi quy logistic?
Bạn hoàn toàn có thể giải quyết hồi quy logistic bằng cách giảm thiểu hàm khả năng bằng cách sử dụng độ dốc giảm dần. Thực tế đây là một bài tập tuyệt vời và tôi khuyên mọi người nên thực hiện ít nhất một lần.
Gradient giảm dần không phải là phương pháp tiêu chuẩn. Giải thưởng đó thuộc về phương pháp bình phương tối thiểu / bình phương lặp lại có trọng số lặp lại , đây là một sự nâng cao cho việc giảm độ dốc có tính đến đạo hàm thứ hai. Phương pháp này hóa ra có các thuộc tính tốt hơn nhiều so với độ dốc gốc, nhưng khó hiểu hơn và thực hiện.