Nếu bạn sử dụng ước tính điểm tối đa hóa

Nếu ai đó nói

"Phương pháp đó sử dụng MLE ước tính điểm cho tham số tối đa hóa $\mathrm{P}(x|\theta)$ , do đó, nó là thường xuyên; và hơn nữa nó không phải là Bayes."

bạn có đồng ý không

• Cập nhật trên nền : Gần đây tôi đã đọc một bài báo tuyên bố là thường xuyên. Tôi không đồng ý với yêu cầu của họ, tốt nhất là tôi cảm thấy nó mơ hồ. Bài viết không đề cập rõ ràng về MLE (hoặc MAP , cho vấn đề đó). Họ chỉ lấy một ước tính điểm, và họ chỉ cần tiến hành như thể ước tính điểm này là đúng. Họ khôngthực hiện bất kỳ phân tích phân phối lấy mẫu của công cụ ước tính này, hoặc bất cứ điều gì tương tự; mô hình khá phức tạp và do đó phân tích như vậy có lẽ là không thể. Họ cũng không sử dụng từ 'hậu thế'. Họ chỉ lấy ước tính điểm này theo mệnh giá và tiến tới chủ đề quan tâm chính của họ - suy ra dữ liệu bị thiếu. Tôi không nghĩ có bất cứ điều gì trong cách tiếp cận của họ cho thấy triết lý của họ là gì. Họ có thể có ý định là người thường xuyên (vì họ cảm thấy bắt buộc phải đeo triết lý của họ trên tay áo), nhưng cách tiếp cận thực tế của họ khá đơn giản / thuận tiện / lười biếng / mơ hồ. Bây giờ tôi có khuynh hướng nói rằng nghiên cứu không thực sự có triết lý nào đằng sau nó; thay vào đó tôi nghĩ thái độ của họ thực dụng hoặc thuận tiện hơn:

  "Tôi có dữ liệu quan sát, $x$ , và tôi muốn để ước tính một số dữ liệu bị mất, $z$ . Có một tham số $\theta$ kiểm soát mối quan hệ giữa $z$ và $x$ . Tôi không thực sự quan tâm trừ như một phương tiện để chấm dứt. Nếu tôi có ước tính cho , việc dự đoán từ sẽ dễ dàng hơn . Tôi sẽ chọn ước tính điểm của vì nó thuận tiện, đặc biệt tôi sẽ chọn để tối đa hóa . "q z x q q P ( x | q $\theta$$\theta$$z$$x$$\theta$$\hat{\theta}$$\mathrm{P}(x|\theta)$

Trong các phương thức Bayes, vai trò của dữ liệu và tham số là loại đảo ngược. Cụ thể, bây giờ chúng tôi dựa vào dữ liệu được quan sát và tiến hành suy luận về giá trị của tham số. Điều này đòi hỏi phải có trước.

Cho đến nay là tốt, nhưng MLE (Ước tính khả năng tối đa) phù hợp với tất cả những điều này ở đâu? Tôi có ấn tượng rằng nhiều người cảm thấy rằng đó là Người thường xuyên (hay chính xác hơn, đó không phải là Bayes). Nhưng tôi cảm thấy đó là Bayes vì ​​nó liên quan đến việc lấy dữ liệu được quan sát và sau đó tìm tham số tối đa hóa . MLE hoàn toàn sử dụng đồng phục trước và điều chỉnh dữ liệu và tối đa hóa P ( p a r a m e t $P(data | parameter)$ . Có công bằng không khi nói rằng MLE trông giống cả Người thường xuyên và Người Bayes? Hay mọi công cụ đơn giản đều phải thuộc chính xác một trong hai loại đó?$P(parameter | data)$

MLE là nhất quán nhưng tôi cảm thấy rằng tính nhất quán có thể được trình bày như một ý tưởng Bayes. Cho các mẫu lớn tùy ý, ước tính hội tụ vào câu trả lời đúng. Câu lệnh "ước tính sẽ bằng giá trị thực" đúng với tất cả các giá trị của tham số. Điều thú vị là tuyên bố này cũng đúng nếu bạn dựa vào dữ liệu được quan sát, biến nó thành Bayesian. Điều này thú vị dành cho MLE, nhưng không dành cho một người ước tính không thiên vị.

Đây là lý do tại sao tôi cảm thấy rằng MLE là 'phương pháp Bayes nhất' trong số các phương pháp có thể được mô tả là Người thường xuyên.

Dù sao, hầu hết các thuộc tính Thường xuyên (như không thiên vị) áp dụng trong mọi trường hợp, bao gồm cả cỡ mẫu hữu hạn. Thực tế là tính nhất quán chỉ giữ trong kịch bản không thể (mẫu vô hạn trong một thử nghiệm) cho thấy tính nhất quán không phải là một tính chất hữu ích như vậy.

Đưa ra một mẫu thực tế (tức là hữu hạn), có thuộc tính Thường xuyên nào đúng với MLE không? Nếu không, MLE không thực sự thường xuyên.

Hay mọi công cụ đơn giản đều phải thuộc chính xác một trong hai loại đó?

Không. Công cụ đơn giản (và không đơn giản như vậy) có thể được nghiên cứu từ nhiều quan điểm khác nhau. Chức năng khả năng tự nó là một nền tảng trong cả thống kê Bayes và thường xuyên, và có thể được nghiên cứu từ cả hai quan điểm! Nếu bạn muốn, bạn có thể nghiên cứu MLE như một giải pháp Bayes gần đúng hoặc bạn có thể nghiên cứu các thuộc tính của nó với lý thuyết tiệm cận, theo cách thường xuyên.

Khi bạn thực hiện Ước tính khả năng tối đa, bạn xem xét giá trị của ước tính và các thuộc tính lấy mẫu của công cụ ước tính để thiết lập độ không đảm bảo của ước tính của bạn được biểu thị dưới dạng khoảng tin cậy. Tôi nghĩ rằng điều này rất quan trọng đối với câu hỏi của bạn bởi vì khoảng tin cậy nói chung sẽ phụ thuộc vào các điểm mẫu không được quan sát, có vẻ như một số thuộc tính cơ bản không phù hợp.

PS Điều này có liên quan đến thực tế chung hơn là Ước tính khả năng tối đa (Điểm + Khoảng) không thỏa mãn Nguyên tắc khả năng sống , trong khi phân tích Bayesian đầy đủ (" phong cách man rợ ").

Hàm khả năng là một hàm liên quan đến dữ liệu và (các) tham số chưa biết. Nó có thể được xem như mật độ xác suất cho dữ liệu quan sát được cho (các) giá trị của (các) tham số. Các thông số được cố định. Vì vậy, bản thân khả năng là một khái niệm thường xuyên. Tối đa hóa khả năng chỉ là để tìm (các) giá trị cụ thể của (các) tham số làm cho khả năng mang giá trị tối đa của nó. Vì vậy, ước tính khả năng tối đa là một phương pháp thường xuyên chỉ dựa trên dữ liệu và hình thức của mô hình được giả định để tạo ra nó. Ước tính Bayes chỉ tham gia khi phân phối trước được đặt trên (các) tham số và công thức của Bayes được sử dụng để thu được phân phối aposteriori cho (các) tham số bằng cách kết hợp trước với khả năng.

Giả sử rằng bởi "Bayesian", bạn đề cập đến Bayes chủ quan (còn gọi là Bay epistemia, De-Finetti Bayes) và không phải là Bayes theo kinh nghiệm hiện tại - nó khác xa với tầm thường. Một mặt, bạn suy luận chỉ dựa trên dữ liệu của bạn. Không có niềm tin chủ quan trong tay. Điều này dường như đủ thường xuyên ... Nhưng sự phê phán, thể hiện ngay cả với chính Fisher (một người không nghiêm khắc (chủ quan) Bayesian), là trong việc lựa chọn phân phối lấy mẫu của tính chủ quan dữ liệu đã được thu thập thông tin. niềm tin của quá trình tạo dữ liệu.

Tóm lại-- Tôi tin rằng MLE thường được coi là một khái niệm thường xuyên, mặc dù đó chỉ là vấn đề về cách bạn định nghĩa "người thường xuyên" và "Bayesian".

(trả lời câu hỏi riêng)

Công cụ ước tính là một hàm lấy một số dữ liệu và tạo ra một số (hoặc phạm vi số). Bản thân một công cụ ước tính không thực sự là 'Bayesian' hay 'người thường xuyên' - bạn có thể nghĩ về nó như một hộp đen nơi các con số đi vào và các con số xuất hiện. Bạn có thể trình bày cùng một công cụ ước tính cho một người thường xuyên và cho một người Bayes và họ sẽ có những điều khác nhau để nói về công cụ ước tính.

(Tôi không hài lòng với sự phân biệt đơn giản của tôi giữa người thường xuyên và Bayesian - có những vấn đề khác cần xem xét. Nhưng để đơn giản, hãy giả vờ rằng đó chỉ là hai trại triết học được xác định rõ.)

Bạn không thể biết liệu một nhà nghiên cứu có thường xuyên sử dụng Bayes không chỉ bằng cách ước tính họ chọn. Điều quan trọng là lắng nghe những phân tích họ làm trên công cụ ước tính và lý do họ đưa ra để chọn công cụ ước tính đó.

Hãy tưởng tượng bạn tạo ra một phần mềm tìm thấy giá trị đó của $\theta$ mà tối đa hóa $\mathrm{P}(\mathbf{x}|\theta)$. Bạn trình bày phần mềm này cho một người thường xuyên và yêu cầu họ trình bày về nó. Họ có thể sẽ tiến hành bằng cách phân tích phân phối lấy mẫu và kiểm tra xem công cụ ước tính có bị sai lệch hay không . Và có lẽ họ sẽ kiểm tra xem nó có phù hợp không . Họ sẽ chấp thuận hoặc không chấp thuận công cụ ước tính dựa trên các thuộc tính như thế này. Đây là những loại tài sản mà một người thường xuyên quan tâm.

Khi phần mềm tương tự được trình bày cho Bayes, Bayes có thể sẽ hài lòng với phần lớn phân tích của người thường xuyên. Vâng, tất cả những thứ khác đều bình đẳng, thiên vị không tốt và nhất quán là tốt. Nhưng Bayes sẽ quan tâm nhiều hơn đến những thứ khác. Bayes sẽ muốn xem liệu công cụ ước tính có hình dạng của một số chức năng phân phối sau hay không; và nếu vậy, những gì trước được sử dụng? Nếu công cụ ước tính dựa trên một hậu thế, Bayes sẽ tự hỏi liệu cái trước có tốt không. Nếu họ hài lòng với điều trước và nếu người ước tính báo cáo chế độ của người sau (trái ngược với ý nghĩa của người sau) thì họ rất vui lòng áp dụng cách hiểu này cho ước tính: "Ước tính này là điểm ước tính có cơ hội tốt nhất để được chính xác. "

Tôi thường nghe nói rằng những người thường xuyên và Bayes "diễn giải" mọi thứ khác nhau, ngay cả khi những con số liên quan là như nhau. Điều này có thể hơi khó hiểu và tôi không nghĩ nó thực sự đúng. Giải thích của họ không xung đột với nhau; họ chỉ đơn giản là đưa ra tuyên bố về các khía cạnh khác nhau của hệ thống. Thay vào đó, hãy tạm gác các ước tính điểm và xem xét các khoảng thời gian. Đặc biệt, có những khoảng tin cậy thường xuyên và khoảng tin cậy Bayes . Họ thường sẽ đưa ra câu trả lời khác nhau. Nhưng trong một số mô hình nhất định, với một số linh mục nhất định, hai loại khoảng sẽ cho cùng một câu trả lời bằng số.

Khi các khoảng giống nhau, làm thế nào chúng ta có thể giải thích chúng khác nhau? Một người thường xuyên sẽ nói về một công cụ ước tính khoảng:

Trước khi tôi thấy dữ liệu hoặc khoảng tương ứng, tôi có thể nói có ít nhất xác suất 95% rằng tham số thực sẽ được chứa trong khoảng.

trong khi Bayes sẽ nói về một công cụ ước tính khoảng:

Sau khi tôi thấy dữ liệu hoặc khoảng tương ứng, tôi có thể nói có ít nhất xác suất 95% rằng tham số thực được chứa trong khoảng.

Hai tuyên bố này giống hệt nhau, ngoài các từ 'Trước' và 'Sau'. Bayes sẽ hiểu và đồng ý với tuyên bố trước đây và cũng sẽ thừa nhận rằng sự thật của nó là độc lập với bất kỳ trước đó, do đó làm cho nó 'mạnh mẽ hơn'. Nhưng nói như một người Bayes, tôi sẽ lo lắng rằng tuyên bố trước đây có thể không hữu ích lắm . Người thường xuyên sẽ không thích tuyên bố sau, nhưng tôi không hiểu nó đủ để đưa ra một mô tả công bằng về sự phản đối của người thường xuyên.

Sau khi xem dữ liệu, người thường xuyên vẫn sẽ lạc quan rằng giá trị thực được chứa trong khoảng? Có thể không. Điều này hơi phản trực giác nhưng điều quan trọng là thực sự hiểu khoảng tin cậy và các khái niệm khác dựa trên phân phối mẫu. Bạn có thể cho rằng người thường xuyên vẫn nói "Đưa ra dữ liệu, tôi vẫn nghĩ có xác suất 95% rằng giá trị thực nằm trong khoảng này". Một người thường xuyên sẽ không chỉ đặt câu hỏi liệu tuyên bố đó có đúng hay không, họ cũng sẽ đặt câu hỏi liệu nó có ý nghĩa với xác suất thuộc tính theo cách này hay không. Nếu bạn có thêm câu hỏi về điều này, đừng hỏi tôi, vấn đề này là quá nhiều đối với tôi!

Bayesian rất vui khi đưa ra tuyên bố đó: "Điều chỉnh dữ liệu tôi vừa thấy, xác suất là 95% rằng giá trị thực nằm trong phạm vi này."

Tôi phải thừa nhận rằng tôi có một chút bối rối về một điểm cuối cùng. Tôi hiểu và đồng ý với tuyên bố của người thường xuyên đưa ra trước khi dữ liệu được nhìn thấy. Tôi hiểu và đồng ý với tuyên bố của Bayes sau khi dữ liệu được nhìn thấy. Tuy nhiên, tôi không chắc người thường xuyên sẽ nói gì sau khi dữ liệu được nhìn thấy; niềm tin của họ về thế giới đã thay đổi? Tôi không ở vị trí để hiểu triết lý thường xuyên ở đây.

Công cụ ước tính điểm tối đa hóa $P(x|\theta)$là MLE. Đây là một công cụ ước tính điểm thường được sử dụng trong thống kê thường xuyên, nhưng nó ít được sử dụng trong thống kê Bayes. Trong thống kê Bayes, thông thường sử dụng một công cụ ước tính điểm là giá trị kỳ vọng sau hoặc giá trị giảm thiểu tổn thất dự kiến ​​(rủi ro) trong một vấn đề quyết định. Chắc chắn có một số trường hợp công cụ ước tính Bayes sẽ tương ứng với MLE (ví dụ: nếu chúng tôi có đồng phục trước hoặc trong một số trường hợp đặc biệt giảm thiểu tổn thất), nhưng đây không phải là trường hợp phổ biến. Do đó, như một quy luật chung, MLE thường là một công cụ ước tính thường xuyên.