Ước tính khả năng tối đa - tại sao nó được sử dụng mặc dù bị sai lệch trong nhiều trường hợp

Ước tính khả năng tối đa thường dẫn đến các công cụ ước tính sai lệch (ví dụ: ước tính của nó cho phương sai mẫu được thiên vị cho phân phối Gaussian).

Điều gì sau đó làm cho nó trở nên phổ biến? Tại sao chính xác là nó được sử dụng rất nhiều? Ngoài ra, điều gì đặc biệt làm cho nó tốt hơn phương pháp thay thế - phương pháp của khoảnh khắc?

Ngoài ra, tôi nhận thấy rằng đối với Gaussian, một tỷ lệ đơn giản của công cụ ước tính MLE làm cho nó không thiên vị. Tại sao tỷ lệ này không phải là một thủ tục tiêu chuẩn? Ý tôi là - Tại sao sau khi tính toán MLE, việc tìm tỷ lệ cần thiết để làm cho công cụ ước tính không thiên vị là không thường xuyên? Thực tiễn tiêu chuẩn dường như là sự tính toán đơn giản của các ước tính MLE, ngoại trừ trường hợp Gaussian nổi tiếng trong đó hệ số tỷ lệ được biết đến.

Không thiên vị không nhất thiết phải đặc biệt quan trọng.

Bên cạnh một tập hợp hoàn cảnh rất hạn chế, hầu hết các công cụ ước tính hữu ích đều bị sai lệch, tuy nhiên chúng thu được.

Nếu hai ước lượng có cùng phương sai, người ta có thể dễ dàng gắn kết một cuộc tranh cãi cho thích là một không thiên vị cho một thiên vị một, nhưng đó là một tình huống bất thường là ở (có nghĩa là, bạn có thể hợp lý thích unbiasedness, ceteris tố khác không đổi - nhưng những pesky ceteris hầu như không bao giờ paribus ).

Thông thường hơn, nếu bạn muốn không thiên vị, bạn sẽ thêm một số phương sai để có được nó, và sau đó câu hỏi sẽ là tại sao bạn sẽ làm điều đó ?

Xu hướng là giá trị trung bình của công cụ ước tính của tôi sẽ ở mức trung bình quá cao (với độ lệch âm biểu thị quá thấp).

Khi tôi đang xem xét một công cụ ước tính mẫu nhỏ, tôi không thực sự quan tâm đến điều đó. Tôi thường quan tâm nhiều hơn đến việc người ước tính của tôi sẽ sai đến mức nào trong trường hợp này - khoảng cách điển hình của tôi từ bên phải ... một cái gì đó như lỗi bình phương gốc hoặc lỗi tuyệt đối trung bình sẽ có ý nghĩa hơn.

Vì vậy, nếu bạn thích phương sai thấp và độ lệch thấp, yêu cầu nói một công cụ ước tính sai số trung bình bình phương tối thiểu sẽ có ý nghĩa; những điều này rất hiếm khi không thiên vị.

Xu hướng và không thiên vị là một khái niệm hữu ích cần phải biết, nhưng nó không phải là một tài sản đặc biệt hữu ích để tìm kiếm trừ khi bạn chỉ so sánh các công cụ ước tính với cùng phương sai.

Công cụ ước tính ML có xu hướng phương sai thấp; chúng thường không phải là MSE tối thiểu, nhưng chúng thường có MSE thấp hơn so với sửa đổi chúng thành không thiên vị (khi bạn có thể làm điều đó) sẽ cung cấp cho bạn.

Ví dụ: xem xét ước tính phương sai khi lấy mẫu từ phân phối bình thường (thực sự MMSE cho phương sai luôn có mẫu số lớn hơn ). n-$\hat{\sigma}^2_\text{MMSE} = \frac{S^2}{n+1}, \hat{\sigma}^2_\text{MLE} = \frac{S^2}{n}, \hat{\sigma}^2_\text{Unb} = \frac{S^2}{n-1}$$n-1$

MLE mang lại giá trị rất có thể của các tham số mô hình, đưa ra mô hình và dữ liệu trong tay - đó là một khái niệm khá hấp dẫn. Tại sao bạn lại chọn các giá trị tham số làm cho dữ liệu được quan sát ít có thể xảy ra hơn khi bạn có thể chọn các giá trị làm cho dữ liệu được quan sát có thể xảy ra nhất trên bất kỳ tập hợp giá trị nào? Bạn có muốn hy sinh tính năng này cho sự thiên vị? Tôi không nói câu trả lời luôn rõ ràng, nhưng động lực cho MLE khá mạnh mẽ và trực quan.

Ngoài ra, MLE có thể được áp dụng rộng rãi hơn phương pháp khoảnh khắc, theo như tôi biết. MLE có vẻ tự nhiên hơn trong các trường hợp biến tiềm ẩn; ví dụ, mô hình trung bình di động (MA) hoặc mô hình không đồng nhất có điều kiện tự phát tổng quát (GARCH) có thể được ước tính trực tiếp bởi MLE (bởi trực tiếp tôi có nghĩa là nó đủ để chỉ định một hàm khả năng và gửi nó đến một thói quen tối ưu hóa) - nhưng không phải bằng phương pháp của khoảnh khắc (mặc dù các giải pháp gián tiếp sử dụng phương pháp của khoảnh khắc có thể tồn tại).

Trên thực tế, việc nhân rộng các ước tính khả năng tối đa để có được các ước tính không thiên vị là một quy trình chuẩn trong nhiều vấn đề ước tính. Lý do cho điều đó là mle là một hàm của số liệu thống kê đầy đủ và theo định lý Rao-Blackwell nếu bạn có thể tìm thấy một công cụ ước lượng không thiên vị dựa trên số liệu thống kê đầy đủ, thì bạn có Công cụ ước lượng không thiên vị tối thiểu.

Tôi biết rằng câu hỏi của bạn chung chung hơn thế nhưng điều tôi muốn nhấn mạnh là các khái niệm chính có liên quan mật thiết đến khả năng và ước tính dựa trên nó. Các ước tính này có thể không thiên vị trong các mẫu hữu hạn nhưng chúng không có triệu chứng vì vậy và hơn nữa chúng có hiệu quả không có triệu chứng, tức là chúng đạt được phương sai của Cramer-Rao đối với các công cụ ước tính không thiên vị, có thể không phải luôn luôn là trường hợp của các công cụ ước tính MOM.

Để trả lời câu hỏi của bạn về lý do tại sao MLE rất phổ biến, hãy xem xét rằng mặc dù nó có thể bị sai lệch, nhưng nó phù hợp trong các điều kiện tiêu chuẩn. Ngoài ra, nó có hiệu quả không có triệu chứng, do đó, ít nhất là đối với các mẫu lớn, MLE có khả năng làm tốt hoặc tốt hơn bất kỳ công cụ ước tính nào khác mà bạn có thể nấu. Cuối cùng, MLE được tìm thấy bởi một công thức đơn giản; lấy chức năng khả năng và tối đa hóa nó. Trong một số trường hợp, công thức đó có thể khó theo dõi, nhưng đối với hầu hết các vấn đề, thì không. Ngoài ra, khi bạn có ước tính này, chúng tôi có thể rút ra các lỗi tiêu chuẩn tiệm cận ngay lập tức bằng cách sử dụng thông tin của Fisher. Không sử dụng thông tin của Fisher, thường rất khó để rút ra các giới hạn lỗi.

Đây là lý do tại sao ước tính MLE thường là công cụ ước tính (trừ khi bạn là người Bayes); Thật đơn giản để thực hiện và có khả năng sẽ tốt như vậy nếu không tốt hơn bất cứ điều gì khác mà bạn cần làm nhiều việc hơn để nấu ăn.

Tôi muốn nói thêm rằng đôi khi (thường) chúng tôi sử dụng công cụ ước tính MLE bởi vì đó là những gì chúng tôi có, ngay cả khi trong một thế giới lý tưởng, đó sẽ không phải là điều chúng tôi muốn. (Tôi thường nghĩ rằng số liệu thống kê giống như kỹ thuật, nơi chúng ta sử dụng những gì chúng ta có chứ không phải những gì chúng ta muốn.) Trong nhiều trường hợp, việc xác định và giải quyết cho MLE dễ dàng, và sau đó nhận được giá trị bằng cách sử dụng phương pháp lặp. Trong khi đối với một tham số nhất định trong một tình huống nhất định, có thể có một công cụ ước tính tốt hơn (đối với một số giá trị "tốt hơn"), nhưng việc tìm kiếm nó có thể đòi hỏi phải rất thông minh; và khi bạn đã hoàn thành thông minh, bạn vẫn chỉ có công cụ ước tính tốt hơn cho một vấn đề cụ thể đó.