Tại sao yếu tố bình thường hóa là bắt buộc trong Định lý Bayes?

20

Định lý Bayes đi

P (model | data) = \frac{P (model) \times P (data | model)}{P (data)}

$P(\textrm{model}|\textrm{data}) = \frac{P(\textrm{model}) \times P(\textrm{data}|\textrm{model})}{P(\textrm{data})}$

Đây là tất cả tốt đẹp. Nhưng, tôi đã đọc ở đâu đó:

Về cơ bản, P (dữ liệu) không là gì ngoài hằng số chuẩn hóa, tức là hằng số làm cho mật độ sau tích hợp thành một.

Chúng tôi biết rằng và . $0 \leq P(\textrm{model}) \leq 1$ $0 \leq P(\textrm{data}|\textrm{model}) \leq 1$

Do đó, cũng phải nằm trong khoảng từ 0 đến 1. Trong trường hợp như vậy, tại sao chúng ta cần một hằng số chuẩn hóa để làm cho hậu thế tích hợp với một? $P(\textrm{model}) \times P(\textrm{data}|\textrm{model})$

— Sreejith Ramakrish Nam
nguồn

4

Khi bạn đang làm việc với mật độ xác suất , như đã đề cập trong bài đăng này, bạn không còn có thể kết luận 0 <= P(model) <= 1cũng được 0 <= P(data/model) <= 1, bởi vì (hoặc thậm chí cả hai!) Trong số đó có thể vượt quá

(và thậm chí là vô hạn). Xem số liệu thống kê.stackexchange.com/questions / 4220 .

1

$1$

— whuber

1

Nó không phải là trường hợp đó

vì ký hiệu mơ hồ này tượng trưng cho khả năng tích hợp của dữ liệu, không phải là một xác suất.

P (dữ liệu | mô hình) \leq 1

$P(\textrm{data}|\textrm{model})\le 1$

— Tây An

15

Đầu tiên , tích phân của "khả năng x trước" không nhất thiết là 1 .

Điều đó không đúng nếu:

và $0 \leq P(\textrm{model}) \leq 1$ $0 \leq P(\textrm{data}|\textrm{model}) \leq 1$

thì tích phân của sản phẩm này đối với mô hình (đối với các tham số của mô hình, thực sự) là 1.

Trình diễn. Tưởng tượng hai mật độ riêng biệt:

P (mô hình) = = [0,5, 0,5] (cái này được gọi là "trước") P (dữ liệu | mô hình) = = [0,80, 0,2] (điều này được gọi là "khả năng")

$P(\textrm{model}) = [0.5, 0.5] \text{ (this is called "prior")}\\ P(\textrm{data | model}) = [0.80, 0.2] \text{ (this is called "likelihood")}\\$

Nếu bạn nhân cả hai thứ bạn nhận được: không phải là mật độ hợp lệ vì nó không tích hợp với một:

[0,40, 0,25]

$[0.40, 0.25]$

0,40 + 0,25 = = 0,65

$0.40 + 0.25 = 0.65$

Vậy, chúng ta nên làm gì để buộc tích phân là 1? Sử dụng hệ số chuẩn hóa, đó là:

\underset{mô hình}{Σ} P (mô hình) P (dữ liệu | mô hình) = = \underset{mô hình}{Σ} P (mô hình, dữ liệu) = = P (dữ liệu) = = 0,65

$\sum_{\text{model_params}} P(\text{model}) P(\text{data | model}) = \sum_\text{model_params} P(\text{model, data}) = P(\text{data}) = 0.65$

(xin lỗi về ký hiệu nghèo nàn. Tôi đã viết ba biểu thức khác nhau cho cùng một điều vì bạn có thể thấy tất cả chúng trong tài liệu)

Thứ hai , "khả năng" có thể là bất cứ điều gì, và ngay cả khi đó là mật độ, nó có thể có các giá trị cao hơn 1 .

Như @whuber đã nói các yếu tố này không cần phải nằm trong khoảng từ 0 đến 1. Họ cần rằng tích phân (hoặc tổng) của chúng là 1.

Thứ ba [thêm], "liên hợp" là bạn bè của bạn để giúp bạn tìm hằng số chuẩn hóa .

P (mô hình | dữ liệu) α P (dữ liệu | mô hình) P (mô hình)

$P(\textrm{model}|\textrm{data}) \propto P(\textrm{data}|\textrm{model}) P(\text{model})$

— alberto
nguồn

+1. Đây là câu trả lời duy nhất thực sự giải quyết câu hỏi ban đầu về lý do tại sao hằng số chuẩn hóa là cần thiết để làm cho hậu thế tích hợp với một . Những gì bạn làm với hậu thế sau này (ví dụ suy luận MCMC hoặc tính xác suất tuyệt đối) là một vấn đề khác.

— Pedro Mediano

P (m o d e l) = [0.5, 0.5]

$P(model)=[0.5,0.5]$

σ^{2} = 1

$\sigma^2=1$

μ

$\mu$

P (μ) = [0.5, 0.5]

$P(\mu) = [0.5, 0.5]$

μ

$\mu$

12

Câu trả lời ngắn gọn cho câu hỏi của bạn là không có mẫu số, biểu thức ở phía bên tay phải chỉ là khả năng , không phải là xác suất , chỉ có thể nằm trong khoảng từ 0 đến 1. "Hằng số chuẩn hóa" cho phép chúng ta có được xác suất cho sự xuất hiện của một sự kiện, thay vì chỉ là khả năng tương đối của sự kiện đó so với sự kiện khác.

— chăn nuôi
nguồn

8

Bạn đã có hai câu trả lời hợp lệ nhưng hãy để tôi thêm hai xu của mình.

Định lý Bayes thường được định nghĩa là:

P (mô hình | dữ liệu) α P (mô hình) \times P (dữ liệu | mô hình)

$P(\text{model}~ | ~\text{data}) \propto P(\text{model}) \times P(\text{data}~|~\text{model})$

bởi vì lý do duy nhất tại sao bạn cần hằng số là để nó tích hợp thành 1 (xem câu trả lời của người khác). Điều này là không cần thiết trong hầu hết các phương pháp mô phỏng MCMC để phân tích Bayes và do đó hằng số được loại bỏ khỏi phương trình. Vì vậy, đối với hầu hết các mô phỏng, nó thậm chí không cần thiết.

Tôi thích mô tả của Kruschke : con chó con cuối cùng (không đổi) buồn ngủ vì anh ta không có gì để làm trong công thức.

nhập mô tả hình ảnh ở đây

Ngoài ra, một số người, như Andrew Gelman, coi hằng số là "được đánh giá cao" và "về cơ bản là vô nghĩa khi mọi người sử dụng các linh mục phẳng" (kiểm tra cuộc thảo luận ở đây ).

— Tim
nguồn

9

+1 để giới thiệu chó con. "Không có động vật nào bị hại khi viết câu trả lời này" :)

— alberto