Tại sao ước tính khả năng tối đa được coi là một kỹ thuật thường xuyên

Thống kê thường xuyên đối với tôi là đồng nghĩa với việc cố gắng đưa ra quyết định tốt cho tất cả các mẫu có thể. Tức là, một quy tắc quyết định thường xuyên nên luôn cố gắng giảm thiểu rủi ro thường xuyên, điều này phụ thuộc vào hàm mất và trạng thái thực sự của tự nhiên : $\delta$ $L$ $\theta_0$

R_{f r e q} = = E_{θ_{0}} (L (θ_{0}, δ (Y))

$R_\mathrm{freq}=\mathbb{E}_{\theta_0}(L(\theta_0,\delta(Y))$

Làm thế nào là ước tính khả năng tối đa liên quan đến rủi ro thường xuyên? Cho rằng đó là kỹ thuật ước tính điểm được sử dụng nhiều nhất bởi những người thường xuyên sử dụng phải có một số kết nối. Theo như tôi biết, ước tính khả năng tối đa cũ hơn so với khái niệm rủi ro thường xuyên nhưng vẫn phải có một mối liên hệ nào đó tại sao nhiều người khác lại cho rằng đó là một kỹ thuật thường xuyên?

Kết nối gần nhất mà tôi đã tìm thấy là

"Đối với các mô hình tham số thỏa mãn điều kiện đều đặn yếu, ước lượng khả năng tối đa là xấp xỉ minimax" Wassermann 2006, tr. 201 "

Câu trả lời được chấp nhận hoặc liên kết ước tính điểm khả năng tối đa mạnh hơn với rủi ro thường xuyên hoặc cung cấp một định nghĩa chính thức thay thế cho suy luận thường xuyên cho thấy MLE là một kỹ thuật suy luận thường xuyên.

maximum-likelihood frequentist

— Julian Karls
nguồn

ML không quan tâm đến rủi ro gì cả! Trên thực tế, đó là một phần của phê bình lý thuyết quyết định thường xuyên của ML. Tôi nghi ngờ câu hỏi này có thể khó trả lời vì nó hoàn toàn sử dụng "Thường xuyên" theo hai nghĩa không tương thích - một là theo lý thuyết quyết định, đề cập đến chức năng mất và cái còn lại ám chỉ không giả định phân phối trước.

— whuber

@whuber ML chú ý đến rủi ro. Trong thực tế, nó được giảm thiểu theo tổn thất logarit dưới đồng phục không phù hợp trước đó.

— Cagdas Ozgenc

@Cagdas Tôi tin rằng đó thường không phải là rủi ro cho người ra quyết định: nó chỉ thể hiện ML như thể nó giảm thiểu rủi ro nếu mất logarit là rủi ro quan trọng với họ. Nhân tiện, việc kêu gọi một "đồng phục không phù hợp" được quyết định là không thường xuyên!

— whuber

@whuber Bayesian thủ tục ước tính cũng đang sử dụng mất log tích lũy. Chỉ sau đó, rủi ro người ra quyết định được áp dụng. Nếu chúng ta đang nói về việc tối ưu hóa rủi ro của người ra quyết định trực tiếp (không phải thông qua bước đệm mất log), thì các thủ tục thường xuyên sẽ nổi tiếng hơn về khía cạnh đó, ví dụ như OLS.

— Cagdas Ozgenc

Câu trả lời:

Bạn áp dụng một định nghĩa tương đối hẹp về chủ nghĩa thường xuyên và MLE - nếu chúng ta hào phóng hơn một chút và định nghĩa

Chủ nghĩa thường xuyên: mục tiêu của tính nhất quán, tối ưu (không có triệu chứng), không thiên vị và tỷ lệ lỗi được kiểm soát trong lấy mẫu lặp lại, không phụ thuộc vào các tham số thực
MLE = ước tính điểm + khoảng tin cậy (TCTD)

sau đó có vẻ khá rõ ràng rằng MLE đáp ứng tất cả các lý tưởng thường xuyên. Cụ thể, các TCTD trong MLE, dưới dạng giá trị p, kiểm soát tỷ lệ lỗi trong lấy mẫu lặp lại và không đưa ra vùng xác suất 95% cho giá trị tham số thực, như nhiều người nghĩ - do đó họ thông qua và thông qua thường xuyên.

Không phải tất cả những ý tưởng này đã có trong bài báo nền tảng năm 1922 của Fisher "Về nền tảng toán học của thống kê lý thuyết" , nhưng ý tưởng về sự tối ưu và không thiên vị là, và Neyman sau đó đã thêm ý tưởng xây dựng các TCTD với tỷ lệ lỗi cố định. Efron, 2013, "Một cuộc tranh luận 250 năm: Niềm tin, hành vi và bootstrap" , tóm tắt trong lịch sử rất dễ đọc của ông về cuộc tranh luận Bayesian / Thường xuyên:

Các bandwagon thường xuyên thực sự đã lăn lộn vào đầu những năm 1900. Ronald Fisher đã phát triển lý thuyết khả năng tối đa của ước tính tối ưu, cho thấy hành vi tốt nhất có thể cho ước tính, và Jerzy Neyman cũng làm như vậy trong các khoảng tin cậy và kiểm tra. Các thủ tục của Fisher và Neyman gần như hoàn hảo phù hợp với nhu cầu khoa học và giới hạn tính toán của khoa học thế kỷ XX, đưa chủ nghĩa Bayes vào một sự tồn tại của bóng tối.

Về định nghĩa hẹp hơn của bạn - Tôi không đồng ý với tiền đề của bạn rằng giảm thiểu rủi ro thường xuyên (FR) là tiêu chí chính để quyết định xem một phương pháp có tuân theo triết lý thường xuyên hay không. Tôi muốn nói rằng thực tế tối thiểu hóa FR là một tài sản mong muốn xuất phát từ triết lý thường xuyên, thay vì đi trước nó. Do đó, một quy tắc / công cụ ước tính quyết định không phải giảm thiểu FR thành người thường xuyên và tối thiểu hóa FR cũng không nhất thiết phải nói rằng một phương pháp là thường xuyên, nhưng một người thường xuyên nghi ngờ sẽ thích tối thiểu hóa FR.

Nếu chúng ta xem xét cụ thể về MLE: Fisher cho thấy MLE là tối ưu không có triệu chứng (tương đương với tối thiểu hóa FR), và đó chắc chắn là một lý do để thúc đẩy MLE. Tuy nhiên, ông nhận thức được rằng sự tối ưu không giữ được kích thước mẫu hữu hạn. Tuy nhiên, ông vẫn hài lòng với công cụ ước tính này do các đặc tính mong muốn khác như tính nhất quán, tính chuẩn hóa tiệm cận, tính bất biến dưới các phép biến đổi tham số và đừng quên: dễ tính toán. Tính bất biến nói riêng được nhấn mạnh rất nhiều trong bài báo năm 1922 - từ cách đọc của tôi, tôi sẽ nói rằng việc duy trì tính bất biến dưới sự biến đổi tham số và khả năng loại bỏ các linh mục nói chung, là một trong những động lực chính của ông khi chọn MLE. Nếu bạn muốn hiểu lý lẽ của anh ấy tốt hơn, tôi thực sự khuyên bạn nên viết bài 1922, '

— Florian Hartig
nguồn

Tôi có thể tóm tắt câu trả lời của bạn vì ước tính điểm khả năng tối đa thường được sử dụng cùng với các TCTD hoặc là một phần của kiểm tra giả thuyết (ví dụ: kiểm tra tỷ lệ khả năng), do đó, đây là một kỹ thuật thường xuyên? Nếu đây là trường hợp, tôi nghĩ rằng đây là một câu trả lời hợp lệ, tuy nhiên không phải là câu trả lời mà tôi đã hy vọng. Tôi đã nhắm đến một cuộc tranh luận chính thức tại sao ước tính khả năng tối đa có thể được coi là một kỹ thuật ước lượng điểm thường xuyên. Nếu điều này đòi hỏi một định nghĩa chính thức khác về suy luận thường xuyên thì điều này cũng tốt.

— Julian Karls

Tôi thường nghĩ về MLE như một khung bao gồm các ước tính điểm của Fisher cùng với các TCTD của Neyman - đây là cách nó được dạy trong lớp, và do những lý lẽ ở trên, tôi sẽ duy trì nó thường xuyên đến tận xương. Tôi tự hỏi sẽ có ý nghĩa như thế nào khi thảo luận nếu một mình MLE là một người ước tính thường xuyên, không có bối cảnh về cách thức và lý do tại sao nó được sử dụng. Nếu bạn muốn lý do của Fisher, tôi thực sự khuyên bạn nên viết bài báo năm 1922 - tôi sẽ nói những lý do mà ông tuyên bố là thường xuyên, mặc dù từ này không tồn tại trước đó. Tôi đã mở rộng nhận xét của tôi về vấn đề đó.

— Florian Hartig

Về cơ bản, vì hai lý do:

Khả năng tối đa là một ước tính khôn ngoan của các tham số mô hình. Chúng tôi Bayes thích phân phối sau.
Khả năng tối đa giả định không có phân phối trước , Chúng tôi Bayes cần linh mục của chúng tôi, nó có thể là thông tin hoặc không chính xác, nhưng nó cần phải tồn tại

— Gorri
nguồn

+1 Tôi chỉ muốn chỉ ra rằng bạn hoàn toàn xuất hiện để đánh đồng "người thường xuyên" với "người không phải Bayes" trong câu trả lời này. Ngôn ngữ của "We Bayesians" cũng gợi ý rằng "Bayesian" đề cập đến một số đặc điểm cá nhân hoặc thành viên bộ lạc - gần như thể bạn là một loại Eskimo - chứ không phải là một tập hợp các kỹ thuật và diễn giải.

— whuber

Mặt khác, MLE có thể dễ dàng được coi là một kỹ thuật Bayes. Nó chỉ đơn giản là ước tính MAP cho bất kỳ mô hình thống kê nào sử dụng đồng phục trước đó.

— Julian Karls

MAPcũng là một ước tính khôn ngoan và được "True Bayesians"

— Uri Goren