Hiểu rủi ro Bayes

9

Khi đánh giá một người ước tính, hai tiêu chí có thể được sử dụng phổ biến nhất là rủi ro tối đa và rủi ro Bayes. Câu hỏi của tôi đề cập đến câu hỏi sau:

Rủi ro bay theo trước được xác định như sau: $\pi$

B_{π} (\hat{θ}) = \int R (θ, \hat{θ}) π (θ) d θ

$B_{\pi} (\hat{\theta}) = \int R(\theta, \hat{\theta} ) \pi ( \theta ) d \theta$

Tôi hoàn toàn không có được những gì trước đang làm và làm thế nào tôi nên giải thích nó. Nếu tôi có hàm rủi ro và vẽ đồ thị, theo trực giác tôi sẽ lấy khu vực của nó làm tiêu chí để đánh giá mức độ "mạnh" của rủi ro đối với tất cả các giá trị có thể có của . Nhưng liên quan đến trước đó bằng cách nào đó phá hủy trực giác này một lần nữa, mặc dù nó gần. Ai đó có thể giúp tôi làm thế nào để giải thích trước? $\pi$ $R(\theta, \hat{\theta} )$ $\theta$

bayesian decision-theory

— Dòng Peter
nguồn

1

Tôi không thấy cách vẽ trực quan chức năng rủi ro có thể khi xem xét một số tham số: trong cài đặt đó, các chức năng giao nhau và không xác định công cụ ước tính "tốt nhất". Rủi ro Bayes trả về một số duy nhất cho mỗi công cụ ước tính và do đó cho phép xếp hạng tất cả các công cụ ước tính.

— Tây An

11

[Đây là một đoạn trích từ sách giáo khoa của riêng tôi, The Bayesian Choice (2007) , lập luận ủng hộ cách tiếp cận lý thuyết quyết định đối với phân tích Bayes, do đó sử dụng rủi ro Bayes.]

Ngoại trừ các cài đặt tầm thường nhất, nhìn chung không thể tối thiểu hóa (trong ) chức năng mất khi không biết . Để có được một tiêu chí so sánh hiệu quả từ hàm mất mát, phương pháp thường xuyên đề xuất xem xét thay vì tổn thất trung bình (hoặc rủi ro thường xuyên ) trong đó là quy tắc quyết định, nghĩa là phân bổ quyết định cho từng kết quả $d$ $\text{L}(\theta,d)$ $\theta$

\begin{array}{rcl} R (θ, δ) & = & E_{θ} [L (θ, δ (x))] \\ = & \int_{X} L (θ, δ (x)) f (x | θ) d x, \end{array}

$\begin{eqnarray*} R(\theta,\delta) & = & \mathbb{E}_\theta \lbrack \text{L} (\theta ,\delta(x))\rbrack \\ & = & \int_{\cal X} \text{L}(\theta,\delta(x))f(x|\theta) \,dx , \end{eqnarray*}$

δ (x)

$\delta(x)$

x \sim f (x | θ)

$x\sim f(x|\theta)$ từ thí nghiệm ngẫu nhiên.

Hàm , từ trong , thường được gọi là công cụ ước tính (trong khi giá trị được gọi là ước tính của ). Khi không có nguy cơ nhầm lẫn, chúng tôi cũng biểu thị tập hợp các công cụ ước tính bằng . $\delta$ ${\mathcal X}$ $\mathfrak{D}$ $\delta(x)$ $\theta$ $\mathfrak{D}$

Các mô hình frequentist dựa vào tiêu chí này để so sánh ước lượng và, nếu có thể, để chọn ước lượng tốt nhất, lập luận được rằng ước lượng được đánh giá về hoạt động dài hạn của họ cho tất cả các giá trị có thể của tham số . Tuy nhiên, lưu ý rằng có một số khó khăn liên quan đến phương pháp này. $\theta$

Lỗi (mất) được tính trung bình trên các giá trị khác nhau của tỷ lệ với mật độ . Do đó, dường như quan sát không được tính đến nữa. Tiêu chí rủi ro đánh giá các quy trình về hiệu suất dài hạn của họ và không trực tiếp cho quan sát đã cho, . Một đánh giá như vậy có thể là thỏa đáng cho nhà thống kê, nhưng nó không hấp dẫn đối với một khách hàng, những người muốn có kết quả tối ưu cho dữ liệu của mình , chứ không phải của người khác! $x$ $f(x|\theta)$ $x$ $x$ $x$
Việc phân tích thường xuyên về vấn đề quyết định mặc nhiên cho rằng vấn đề này sẽ được đáp ứng nhiều lần, để đánh giá tần số có ý nghĩa. Thật vậy, xấp xỉ tổn thất trung bình so với các lần lặp lại của cùng một thí nghiệm, theo Luật Số lớn. Tuy nhiên, trên cả cơ sở triết học và thực tiễn, có rất nhiều tranh cãi về khái niệm lặp lại của các thí nghiệm (xem Jeffreys (1961)). Đối với một điều, nếu các quan sát mới đến nhà thống kê, cô ấy nên sử dụng chúng, và điều này có thể sửa đổi cách thức thí nghiệm được tiến hành, ví dụ như, trong các thử nghiệm y tế. $R(\theta,\delta)$
Đối với thủ tục , rủi ro là một hàm của tham số . Do đó, cách tiếp cận thường xuyên không tạo ra tổng thứ tự trên bộ thủ tục. Nhìn chung, không thể so sánh các thủ tục quyết định với tiêu chí này, vì hai hàm rủi ro chéo ngăn cản so sánh giữa các ước tính tương ứng. Tốt nhất, người ta có thể hy vọng một thủ tục giảm thiểu đồng đều , nhưng những trường hợp như vậy hiếm khi xảy ra trừ khi không gian của thủ tục quyết định bị hạn chế. Các thủ tục tốt nhất chỉ có thể đạt được bằng cách hạn chế một cách giả tạo tập hợp các thủ tục được ủy quyền. $\delta$ $R(\theta, \delta)$ $\theta$ $\delta_0$ $R(\theta,\delta)$

Ví dụ 2.4 - Xem xét và , hai quan sát từ Tham số quan tâm là (nghĩa là ) và nó được ước tính bởi các công cụ ước tính theo tổn thất thường được gọi là lỗ , mà phạt lỗi dự toán, bất kể tầm quan trọng của họ, bởi . Xem xét cụ thể \ est chức năng rủi ro của nó là $x_1$ $x_2$

P_{θ} (x = θ - 1) = P_{θ} (x = θ + 1) = 0.5, θ \in R .

$P_{\theta}(x = \theta-1) = P_{\theta}(x = \theta+1) = 0.5, \qquad \theta\in\mathbb{R}.$

θ

$\theta$

D = Θ

$\mathfrak{D} = \Theta$

δ

$\delta$

L (θ, δ) = 1 - I_{θ} (δ),

$\text{L}(\theta,\delta) = 1-\mathbb{I}_{\theta}(\delta),$

0 - 1

$0-1$

1

$1$

δ_{0} (x_{1}, x_{2}) = \frac{x_{1} + x_{2}}{2},

$\delta_0(x_1,x_2) = {x_1+x_2 \over 2},$

\begin{array}{rcl} R (θ, δ_{0}) & = & 1 - P_{θ} (δ_{0} (x_{1}, x_{2}) = θ) \\ = & 1 - P_{θ} (x_{1} \neq x_{2}) = 0.5. \end{array}

$\begin{eqnarray*} R(\theta,\delta_0) & = & 1-P_{\theta}(\delta_0(x_1,x_2) = \theta) \\ & = & 1-P_{\theta}(x_1 \ne x_2) = 0.5. \end{eqnarray*}$ Tính toán này cho thấy công cụ ước tính đúng một nửa thời gian. Trên thực tế, công cụ ước tính này luôn luôn đúng khi và luôn luôn sai. Bây giờ, \ est \ cũng có hàm rủi ro bằng , cũng như . Do đó, , và không thể được xếp hạng dưới mức .

δ_{0}

$\delta_0$

x_{1} \neq x_{2}

$x_1\ne x_2$

δ_{1} (x_{1}, x_{2}) = x_{1} + 1

$\delta_1(x_1,x_2) = x_1+1$

0.5

$0.5$

δ_{2} (x_{1}, x_{2}) = x_{2} - 1

$\delta_2(x_1,x_2) = x_2-1$

δ_{0}

$\delta_0$

δ_{1}

$\delta_1$

δ_{2}

$\delta_2$

0 - 1

$0-1$

▸

$\blacktriangleright$

Ngược lại, cách tiếp cận Bayes đối với Lý thuyết quyết định tích hợp trên không gian vì không xác định, thay vì tích hợp vào không gian như biết. Nó phụ thuộc vào sự mất mát dự kiến sau trung bình lỗi (nghĩa là mất) phân phối sau của tham số , có điều kiện trên giá trị quan sát} . Cho , sai số trung bình do quyết định thực sự là $\Theta$ $\theta$ ${\cal X}$ $x$

\begin{array}{rcl} ρ (π, d | x) & = & E^{π} [L (θ, d) | x] \\ = & \int_{Θ} L (θ, d) π (θ | x) d θ, \end{array}

$\begin{eqnarray*} \rho(\pi,d|x) & = & \mathbb{E}^\pi[L(\theta,d)|x] \\ & = & \int_{\Theta} \text{L}(\theta,d) \pi(\theta|x)\, d\theta, \end{eqnarray*}$

θ

$\theta$

x

$x$

x

$x$

d

$d$

ρ (π, d | x)

$\rho(\pi,d|x)$ . Do đó, tổn thất dự kiến là một hàm của nhưng sự phụ thuộc này không gây phiền hà, trái ngược với sự phụ thuộc thường xuyên của rủi ro vào tham số vì , trái với , được biết đến.

x

$x$

x

$x$

θ

$\theta$

— Tây An
nguồn

2

Vì vậy, bạn là Christian Robert. Tôi đã gặp George Casella. Tôi nghĩ rằng bạn đã xuất bản (các) cuốn sách với anh ta mà tôi biết ..

— Michael R. Chernick

1

+1 câu trả lời không thể tốt hơn thế - cuốn sách tuyệt vời

— Xavier Bourret Sicotte

3

Trích dẫn lý thuyết quyết định thống kê cổ điển của James O. Berger:

[...] Chúng tôi đã tuyên bố rằng các quy tắc quyết định sẽ được đánh giá theo các hàm rủi ro . [...] Vấn đề, như đã chỉ ra trước đó, là các quy tắc quyết định được chấp nhận khác nhau sẽ có những rủi ro tốt hơn cho các khác nhau . Để giải cứu đi trước , được cho là phản ánh mà 's là 'có khả năng' những người để xảy ra. Có vẻ rất hợp lý khi "cân" theo và trung bình. $R(\theta, \delta)$ $\theta$ $\pi(\theta)$ $\theta$ $R(\theta, \delta)$ $\pi(\theta)$

Có, bạn có thể đánh giá cho mỗi , nhưng sau đó bạn sẽ mặc nhiên cho rằng mỗi giá trị có thể của đều có khả năng như nhau. Trong kịch bản Bayes, bạn chọn trước phản ánh xác suất quan sát các khác nhau và bao gồm thông tin đó. $R(\theta, \delta)$ $\theta$ $\theta$ $\pi(\theta)$ $\theta$

— Tim
nguồn