OLS là màu xanh. Nhưng nếu tôi không quan tâm đến tính không thiên vị và tuyến tính thì sao?

Định lý Gauss-Markov cho chúng ta biết rằng công cụ ước lượng OLS là công cụ ước lượng không thiên vị tuyến tính tốt nhất cho mô hình hồi quy tuyến tính.

Nhưng giả sử tôi không quan tâm đến tính tuyến tính và không thiên vị. Sau đó, có một số ước lượng khác (có thể là phi tuyến / sai lệch) cho mô hình hồi quy tuyến tính có hiệu quả nhất theo các giả định Gauss-Markov hoặc một số giả định chung khác không?

Tất nhiên có một kết quả tiêu chuẩn: Bản thân OLS là công cụ ước tính không thiên vị tốt nhất nếu ngoài các giả định Gauss-Markov, chúng tôi cũng cho rằng các lỗi thường được phân phối. Đối với một số phân phối lỗi cụ thể khác, tôi có thể tính toán ước tính khả năng tối đa tương ứng.

Nhưng tôi đã tự hỏi nếu có một công cụ ước tính nào tốt hơn OLS trong một số trường hợp tương đối chung?

Ước tính không thiên vị là điển hình trong các khóa học thống kê giới thiệu bởi vì chúng là: 1) cổ điển, 2) dễ dàng phân tích toán học. Giới hạn dưới của Cramer-Rao là một trong những công cụ chính cho 2). Xa các ước tính không thiên vị có thể cải thiện. Sự đánh đổi sai lệch thiên vị là một khái niệm quan trọng trong thống kê để hiểu cách ước tính sai lệch có thể tốt hơn so với ước tính không thiên vị.

Thật không may, các công cụ ước tính thiên vị thường khó phân tích hơn. Trong hồi quy, phần lớn các nghiên cứu trong 40 năm qua là về ước tính sai lệch. Điều này bắt đầu với hồi quy sườn núi (Hoerl và Kennard, 1970). Xem Frank và Friedman (1996) và Burr and Fry (2005) để biết một số đánh giá và hiểu biết.

$p \geq 3$

Một phần quan trọng của vấn đề sai lệch thiên vị là xác định mức độ thiên vị nên được đánh đổi. Không có một công cụ ước tính tốt nhất nào . Độ thưa thớt là một phần quan trọng của nghiên cứu trong thập kỷ qua. Xem Hesterberg và cộng sự. (2008) để xem xét một phần.

$Y$

Tôi không biết bạn có ổn với Ước tính Bayes không? Nếu có, thì tùy thuộc vào chức năng Mất, bạn có thể có được Ước tính Bayes khác nhau. Một định lý của Blackwell nói rằng Ước tính Bayes không bao giờ thiên vị. Một lập luận lý thuyết quyết định tuyên bố rằng mọi quy tắc được chấp nhận ((nghĩa là hoặc mọi quy tắc khác được so sánh, có một giá trị của tham số mà rủi ro của quy tắc hiện tại thấp hơn quy tắc đối với quy tắc này được so sánh)) là một quy tắc Bayes (tổng quát).

Công cụ ước tính James-Stein là một loại công cụ ước tính khác (có thể được lấy từ phương pháp Bayes không có triệu chứng) tốt hơn OLS trong nhiều trường hợp.

OLS có thể không được chấp nhận trong nhiều tình huống và Công cụ ước tính James-Stein là một ví dụ. (còn gọi là nghịch lý của Stein).

Có một bài viết đánh giá hay của Kay và Eldar về ước lượng sai lệch cho mục đích tìm các công cụ ước tính với sai số bình phương trung bình tối thiểu.