Các linh mục tiềm ẩn trong thống kê thường xuyên là gì?

Tôi đã nghe khái niệm rằng Jaynes tuyên bố những người thường xuyên hoạt động với một "ưu tiên ngầm".

Những linh mục ngầm này là gì? Điều này có nghĩa là các mô hình thường xuyên là tất cả các trường hợp đặc biệt của các mô hình Bayes đang chờ được tìm thấy?

Trong lý thuyết quyết định thường xuyên, tồn tại kết quả lớp hoàn chỉnh đặc trưng cho các thủ tục được chấp nhận là thủ tục Bayes hoặc là giới hạn của thủ tục Bayes. Chẳng hạn, điều kiện cần và đủ của Stein (Stein. 1955; Farrell, 1968b) nói rằng, theo các giả định sau

1. mật độ lấy mẫu liên tục trong θ và hoàn toàn dương trên Θ ; và$f(x|\theta)$$\theta$$\Theta$
2. $L$$E\subset\Theta$ $$\lim_{\|\delta\|\rightarrow +\infty} \inf_{\theta\in E}L(\theta,\delta) =+\infty.$$

một công cụ ước tính được chấp nhận nếu và chỉ khi tồn tại$\delta$

• một chuỗi tăng các tập hợp nhỏ gọn sao cho ,Θ = ⋃ n F $(F_n)$$\Theta=\bigcup_n F_n$
• một chuỗi các biện pháp hữu hạn có hỗ trợ vàF $(\pi_n)$$F_n$

• một chuỗi của các công cụ ước tính Bayes được liên kết với sao choπ $(\delta_n)$$\pi_n$

  1. tồn tại một tập hợp nhỏ gọn sao choinf n π n ( E 0 ) ≥ $E_0\subset \Theta$$\inf_n \pi_n(E_0) \ge 1$
  2. nếu nhỏ gọn,sup n π n ( E ) < + $E\subset \Theta$$\sup_n \pi_n(E) <+\infty$
  3. $\lim_n r(\pi_n,\delta)-r(\pi_n) = 0$ và
  4. $\lim_n R(\theta,\delta_n)= R(\theta,\delta)$ .

[sao chép từ cuốn sách của tôi, Bayesian Choice , Định lý 8.3.0, tr.407]

Theo nghĩa hạn chế này, thuộc tính thường xuyên của sự chấp nhận được ban cho một nền tảng Bayes, do đó liên kết một ẩn trước (hoặc trình tự của nó) với mỗi công cụ ước tính được chấp nhận.

Sidenote: Trong một sự trùng hợp đáng buồn, Charles Stein đã qua đời vào ngày 25 tháng 11 tại Palo Alto, California. Ông đã 96 tuổi.

Có một kết quả tương tự (nếu liên quan đến toán học) cho ước lượng bất biến hoặc tương đương, cụ thể là công cụ ước lượng tương đương tốt nhất là một công cụ ước lượng Bayes cho mọi nhóm chuyển tiếp hoạt động trên một mô hình thống kê, được liên kết với thước đo Haar phải, , gây ra trên bởi nhóm này và mất bất biến tương ứng. Xem Pitman (1939), Stein (1964) hoặc Zidek (1969) để biết chi tiết liên quan. Đây rất có thể là những gì Jaynes có trong tâm trí, khi ông lập luận một cách ép buộc về việc giải quyết các nghịch lý ngoài lề bằng các nguyên tắc bất biến .$\pi^*$$\Theta$

Hơn nữa, như chi tiết trong civilstat câu trả lời, một khái niệm frequentist của tối ưu, cụ thể là minimaxity, cũng kết nối với các thủ tục Bayes trong đó các thủ tục minimax là giảm thiểu các lỗi tối đa (trên không gian tham số) thường là thủ tục Maximin nhằm tối đa hóa các lỗi tối thiểu ( trên tất cả các bản phân phối trước), do đó là một quy trình Bayes hoặc giới hạn của (các) thủ tục Bayes.

Q.: Có một takeaway pithy tôi có thể sử dụng để chuyển trực giác Bayes của tôi sang các mô hình thường xuyên?

Trước tiên tôi sẽ tránh sử dụng thuật ngữ "mô hình thường xuyên" vì có các mô hình lấy mẫu (dữ liệu là sự hiện thực hóa cho một giá trị tham số )X ∼ f ( x | θ ) $x$$X\sim f(x|\theta)$$\theta$95 95 và các thủ tục thường xuyên (ước lượng không thiên vị tốt nhất, tối thiểu khoảng tin cậy phương sai, & tc.)Thứ hai, tôi không thấy một lý do phương pháp luận hay lý thuyết thuyết phục nào để xem xét các phương pháp thường xuyên là phương pháp đường biên hoặc giới hạn Bayes. Sự biện minh cho một thủ tục thường xuyên, khi nó tồn tại, là để đáp ứng một số tính chất tối ưu trong không gian lấy mẫu, đó là khi lặp lại các quan sát. Sự biện minh chính cho các thủ tục Bayes là tối ưu [theo một tiêu chí cụ thể hoặc hàm mất mát] được phân phối trước và một nhận thức từ mô hình lấy mẫu. Đôi khi, thủ tục kết quả thỏa mãn một số tài sản thường xuyên (vùng đáng tin cậy % là vùng tin cậy %)$95$$95$ , nhưng điều này xảy ra ở chỗ sự tối ưu này không chuyển sang tất cả các thủ tục liên quan đến mô hình Bayes.

Câu trả lời của @ Xi'an đầy đủ hơn. Nhưng vì bạn cũng đã yêu cầu một món đồ bỏ đi, đây là một. (Các khái niệm tôi đề cập không hoàn toàn giống với cài đặt chấp nhận ở trên.)

Những người thường xuyên thường (nhưng không phải luôn luôn) thích sử dụng các công cụ ước tính là "minimax": nếu tôi muốn ước tính , thì công cụ ước tính của tôi sẽ tốt hơn bất kỳ rủi ro trong trường hợp xấu nhất của người ước tính nào khác . Nó chỉ ra rằng MLE thường là (xấp xỉ) minimax. Xem chi tiết ví dụ ở đây hoặc ở đây .$\theta$$\hat{\theta}$

Để tìm công cụ ước tính minimax cho một vấn đề, một cách là suy nghĩ Bayesian một lúc và tìm "ít thuận lợi nhất trước" . Đây là công cụ ước tính Bayes có rủi ro trung bình cao hơn bất kỳ công cụ ước tính Bayes nào trước đó. Nếu bạn có thể tìm thấy nó, sau đó nó quay ra 's Ước lượng Bayes là minimax.$\pi$$\pi$

Theo nghĩa này, bạn có thể nói một cách kiên quyết: Một người thường xuyên (sử dụng minimax) giống như một người Bayes đã chọn (ước tính điểm dựa trên) một ưu tiên ít thuận lợi nhất.

Có lẽ bạn có thể kéo dài điều này để nói: Người thường xuyên như vậy là một người Bayes bảo thủ, chọn không phải là linh mục chủ quan hay thậm chí là linh mục không thông tin nhưng (theo nghĩa cụ thể này) là linh mục trường hợp xấu nhất.

Cuối cùng, như những người khác đã nói, thật khó để so sánh Người thường xuyên và Người Bayes theo cách này. Trở thành một người thường xuyên không nhất thiết ngụ ý rằng bạn sử dụng một công cụ ước tính nhất định. Điều đó chỉ có nghĩa là bạn đặt câu hỏi về các thuộc tính lấy mẫu của người ước tính, trong khi những câu hỏi này không phải là ưu tiên hàng đầu của Bayes. (Vì vậy, bất kỳ Bayesian người hy vọng đối với tài sản lấy mẫu tốt, ví dụ như "Bayes hiệu chuẩn," là cũng một frequentist.)
Thậm chí nếu bạn định nghĩa một frequentist là một người có ước lượng luôn có tối ưu tính lấy mẫu, có rất nhiều tài sản đó và bạn có thể không phải lúc nào gặp tất cả họ cùng một lúc Vì vậy, thật khó để nói chung về "tất cả các mô hình Thường xuyên."