Sự biện minh lý thuyết quyết định cho các thủ tục khoảng tin cậy Bayes là gì?

(Để xem lý do tại sao tôi viết bài này, hãy kiểm tra các bình luận bên dưới câu trả lời của tôi cho câu hỏi này .)

Lỗi loại III và lý thuyết quyết định thống kê

Đưa ra câu trả lời đúng cho câu hỏi sai đôi khi được gọi là lỗi Loại III. Lý thuyết quyết định thống kê là một hình thức chính thức của việc ra quyết định trong sự không chắc chắn; nó cung cấp một khung khái niệm có thể giúp người ta tránh các lỗi loại III. Phần tử chính của khung được gọi là hàm mất . Phải mất hai đối số: đầu tiên là (các tập con có liên quan của) tình trạng thực sự của thế giới (ví dụ, trong các vấn đề ước lượng tham số, giá trị tham số đúng $\theta$ ); thứ hai là một yếu tố trong tập hợp các hành động có thể (ví dụ, trong các vấn đề ước lượng tham số, ước tính θ )$\hat{\theta})$. Đầu ra mô hình sự mất mát liên quan đến mọi hành động có thể có liên quan đến mọi trạng thái thực sự có thể có của thế giới. Ví dụ, trong các vấn đề ước tính tham số, một số hàm mất mát nổi tiếng là:

• mất lỗi tuyệt đối$L(\theta, \hat{\theta}) = |\theta - \hat{\theta}|$
• mất bình phương lỗi$L(\theta, \hat{\theta}) = (\theta - \hat{\theta})^2$
• LINEX của Hal Varian mất$L(\theta, \hat{\theta}; k) = \exp(k(\theta - \hat{\theta})) - k(\theta - \hat{\theta}) - 1,\text{ } k \ne0$

Kiểm tra câu trả lời để tìm câu hỏi

Có một trường hợp người ta có thể cố gắng tạo ra lỗi loại III đó bằng cách tập trung vào việc xây dựng một hàm mất chính xác và tiến hành phần còn lại của phương pháp lý thuyết quyết định (không được nêu chi tiết ở đây). Đó không phải là tóm tắt của tôi - xét cho cùng, các nhà thống kê được trang bị tốt với nhiều kỹ thuật và phương pháp hoạt động tốt mặc dù chúng không bắt nguồn từ cách tiếp cận như vậy. Nhưng kết quả cuối cùng, dường như đối với tôi, là phần lớn các nhà thống kê không biết và không quan tâm đến lý thuyết quyết định thống kê, và tôi nghĩ rằng họ đang bỏ lỡ. Đối với những nhà thống kê này, tôi cho rằng lý do họ có thể thấy lý thuyết quyết định thống kê có giá trị trong việc tránh lỗi Loại III là vì nó cung cấp một khung để hỏi về bất kỳ quy trình phân tích dữ liệu được đề xuất nào:chức năng mất (nếu có) làm thủ tục đối phó tối ưu là gì? Đó là, trong tình huống ra quyết định, chính xác, nó cung cấp câu trả lời tốt nhất?

Mất hậu kỳ

Từ quan điểm của Bayes, chức năng mất là tất cả những gì chúng ta cần. Chúng ta có thể bỏ qua phần còn lại của lý thuyết quyết định - gần như theo định nghĩa, điều tốt nhất cần làm là giảm thiểu tổn thất dự kiến ​​sau, nghĩa là tìm hành động giảm thiểu .~ L ( một ) = ∫ q L ( θ , một ) p ( θ | D ) d $a$$\tilde{L}(a) = \int_{\Theta}L(\theta, a)p(\theta|D)d\theta$

(Và đối với các quan điểm không thuộc Bayes? Vâng, đó là một định lý của lý thuyết quyết định thường xuyên - cụ thể là Định lý Lớp hoàn chỉnh của Wald - rằng hành động tối ưu sẽ luôn là giảm thiểu tổn thất dự kiến ​​của Bayes đối với một số (có thể không đúng) Khó khăn với kết quả này là một định lý tồn tại không đưa ra hướng dẫn nào về việc sử dụng trước. Nhưng nó hạn chế một cách hiệu quả lớp thủ tục mà chúng ta có thể "đảo ngược" để tìm ra chính xác câu hỏi nào là chúng ta đặc biệt, bước đầu tiên trong việc đảo ngược bất kỳ thủ tục phi Bayes nào là tìm ra thủ tục Bayesian (nếu có) mà nó sao chép hoặc xấp xỉ.)

Này Cyan, bạn biết đây là trang web hỏi đáp phải không?

Điều này mang lại cho tôi - cuối cùng - cho một câu hỏi thống kê. Trong thống kê Bayes, khi cung cấp ước tính khoảng cho các tham số đơn biến, hai thủ tục khoảng tin cậy phổ biến là khoảng tin cậy dựa trên lượng tử và khoảng tin cậy mật độ sau cao nhất. Các chức năng mất đằng sau các thủ tục này là gì?

Trong ước lượng khoảng thời gian đơn biến, tập hợp các hành động có thể là tập hợp các cặp theo thứ tự chỉ định các điểm cuối của khoảng. Đặt một phần tử của tập hợp đó được biểu diễn bởi .$(a, b),\text{ } a \le b$

Khoảng mật độ sau cao nhất

Hãy để cho mật độ sau là . Các khoảng mật độ sau cao nhất tương ứng với hàm mất mà xử phạt một khoảng không chứa giá trị thực và cũng phạt các khoảng theo tỷ lệ với độ dài của chúng:$f(\theta)$

,$L_{HPD}(\theta, (a, b); k) = I(\theta \notin [a, b]) + k(b – a), \text{} 0 < k \le max_{\theta} f(\theta)$

Trong đó là hàm chỉ thị . Điều này mang lại sự mất mát dự kiến$I(\cdot)$

.$\tilde{L}_{HPD}((a, b); k) = 1 - \Pr(a \le \theta \le b|D) + k(b – a)$

Cài đặt mang lại điều kiện cần thiết cho tối ưu cục bộ trong phần bên trong không gian tham số:f(a)=f(b)=k- chính xác là quy tắc cho các khoảng HPD, như mong đợi.$\frac{\partial}{\partial a}\tilde{L}_{HPD} = \frac{\partial}{\partial b}\tilde{L}_{HPD} = 0$$f(a) = f(b) = k$

Dạng cung cấp một số thông tin chi tiết về lý do tại sao các khoảng HPD không bất biến đối với phép biến đổi tăng đơn điệu g ( θ ) của tham số. Các θ -space HPD khoảng biến thành g ( θ ) không gian khác với g ( θ ) -space HPD khoảng vì hai khoảng thời gian tương ứng với chức năng mất mát khác nhau: g ( θ $\tilde{L}_{HPD}((a, b); k)$$g(\theta)$$\theta$$g(\theta)$$g(\theta)$$g(\theta)$-space khoảng HPD tương ứng với hình phạt có độ dài biến đổi .$k(g(b) – g(a))$

Khoảng tin cậy dựa trên số lượng

Xem xét ước tính điểm với hàm mất

.$L_q(\theta, \hat{\theta};p) = p(\hat{\theta} - \theta)I(\theta < \hat{\theta}) + (1-p)(\theta - \hat{\theta})I(\theta \ge \hat{\theta}), \text{ } 0 \le p \le 1$

Mất mát dự kiến ​​sau là

.$\tilde{L}_q(\hat{\theta};p)=p(\hat{\theta}-\text{E}(\theta|\theta < \hat{\theta}, D)) + (1 - p)(\text{E}(\theta | \theta \ge \hat{\theta}, D)-\hat{\theta})$

Cài đặt sản lượng phương trình ngầm$\frac{d}{d\hat{\theta}}\tilde{L}_q=0$

$\Pr(\theta < \hat{\theta}|D) = p$

$\hat{\theta}$$(100p)$

Do đó, để có được ước tính khoảng thời gian dựa trên lượng tử, hàm mất là

$L_{qCI}(\theta, (a,b); p_L, p_U) = L_q(\theta, a;p_L) + L_q(\theta, b;p_U)$

Khoảng cách kích thước tối thiểu

Một lựa chọn rõ ràng của hàm mất mát cho lựa chọn khoảng (cả Bayes và thường xuyên) là sử dụng kích thước của các khoảng như được đo theo các phân phối biên. Do đó, bắt đầu với thuộc tính mong muốn hoặc hàm mất và rút ra các khoảng tối ưu. Điều này có xu hướng không được thực hiện, như được minh họa bằng câu hỏi hiện tại, mặc dù nó có thể. Đối với các tập đáng tin cậy Bayes, điều này tương ứng để giảm thiểu xác suất trước của khoảng hoặc để tối đa hóa niềm tin tương đối, ví dụ, như được nêu trong Evans (2016). Kích thước cũng có thể được sử dụng để chọn các bộ tự tin thường xuyên (Schafer 2009). Hai cách tiếp cận có liên quan và có thể được thực hiện khá dễ dàng thông qua các quy tắc quyết định ưu tiên bao gồm các quyết định có thông tin lẫn nhau theo chiều lớn (Bartels 2017).

Bartels, C., 2017. Sử dụng kiến ​​thức trước trong các bài kiểm tra thường xuyên. vả https://doi.org/10.6084/m9.figshare.4819597.v3

Evans, M., 2016. Đo lường bằng chứng thống kê sử dụng niềm tin tương đối. Tạp chí công nghệ sinh học tính toán và cấu trúc, 14, tr.91-96.

Schafer, CM và Stark, PB, 2009. Xây dựng vùng tin cậy có kích thước dự kiến ​​tối ưu. Tạp chí của Hiệp hội Thống kê Hoa Kỳ, 104 (487), tr.1080-1089.