Tại sao phân phối xác suất nhân lên ở đây?

Lấy $X$ là ví dụ số ngày còn lại của bạn để sống. Một bác sĩ 1 đánh giá lại sự phân bố của $X$ như một Gaussian: $P(X)\sim\mathcal{N}(\mu_1,\sigma_1)$ . Một độc lập bác sĩ 2 đánh giá lại $P(X)\sim\mathcal{N}(\mu_2,\sigma_2)$ . Cả hai bác sĩ đều đáng tin cậy như nhau. Làm thế nào để kết hợp cả hai thông tin?

Trong bài viết trên blog này , tác giả nói rằng

Nếu chúng ta có hai xác suất và chúng ta muốn biết cơ hội cả hai đều đúng, chúng ta chỉ cần nhân chúng với nhau. Vì vậy, chúng tôi lấy hai đốm màu Gaussian và nhân chúng:

Sửa Hầu hết mọi người (lần đầu tiên tôi hỏi câu hỏi này trên math.SE) đã trả lời rằng đây là tầm thường mối quan hệ độc lập tự chủ nhưng tôi vẫn đang gặp khó khăn trong việc hiểu những gì sẽ và trong bối cảnh này: có thể không phải là các sự kiện như "súc sắc sẽ cho 3" hoặc "bệnh nhân bị bệnh". Ngoài ra, có lẽ là một cái gì đó nhiều hơn, bởi vì sản phẩm của hai mật độ không phải là một mật độ xác suất kể từ nói chung $P(A\cap B)=P(A)P(B)$ $A$ $B$ $\int_\mathbb{R} P(x)^2 \neq 1$ . Vì vậy, nó có thể không đơn giản như vậy.

Hãy lấy một ví dụ khác. Một chuyên gia 1 nói với bạn rằng một con xúc xắc là hoàn toàn cân bằng. Một chuyên gia 2 khác nói với bạn, độc lập như nhau. Sau đó, xác suất của các con xúc xắc cho 3 chắc chắn không phải . $1/6^2$

probability normal-distribution

— hiểu
nguồn

Các hoạt động này đang được thực hiện trên khả năng chứ không phải xác suất. Mặc dù sự khác biệt có thể tinh tế, bạn đã xác định một khía cạnh quan trọng của nó: sản phẩm của hai mật độ không bao giờ là mật độ.

Ngôn ngữ trong blog gợi ý về điều này - nhưng đồng thời cũng bị sai một cách tinh vi - vì vậy hãy phân tích nó:

Giá trị trung bình của phân phối này là cấu hình mà cả hai ước tính đều có khả năng nhất và do đó là dự đoán tốt nhất về cấu hình thực được cung cấp cho tất cả thông tin chúng tôi có.

Chúng tôi đã quan sát sản phẩm không phải là một phân phối. (Mặc dù nó có thể được biến thành một thông qua nhân với một số phù hợp, nhưng đó không phải là những gì đang diễn ra ở đây.)
Các từ "ước tính" và "dự đoán tốt nhất" chỉ ra rằng máy móc này đang được sử dụng để ước tính một tham số - trong trường hợp này là "cấu hình thực" (tọa độ x, y).
Thật không may, có nghĩa là không đoán tốt nhất. Các chế độ được. Đây là Nguyên tắc Khả năng tối đa (ML).

Để giải thích cho blog có ý nghĩa, chúng tôi phải giả sử như sau. Đầu tiên, có một vị trí thực sự, xác định. Hãy trừu tượng gọi nó là . Thứ hai, mỗi "cảm biến" không được báo cáo . Thay vào đó nó báo cáo một giá trị mà có thể được gần gũi với . "Gaussian" của cảm biến cho mật độ xác suất để phân phối . Là rất rõ ràng, mật độ cho cảm biến là một hàm , tùy thuộc vào , với tài sản đó cho bất kỳ khu vực (trong mặt phẳng), những cơ hội mà các cảm biến sẽ báo cáo một giá trị trong là $\mu$ $\mu$ $X_i$ $\mu$ $X_i$ $i$ $f_i$ $\mu$ $\mathcal{R}$ $\mathcal{R}$

Pr (X_{i} \in R) = \int_{R} f_{i} (x; μ) d x .

$\Pr(X_i \in \mathcal{R}) = \int_{\mathcal{R}} f_i(x;\mu) dx.$

Thứ ba, hai cảm biến được cho là hoạt động với sự độc lập vật lý , được dùng để ám chỉ sự độc lập thống kê .

Theo định nghĩa, các khả năng của hai quan sát là xác suất mật độ họ sẽ có theo phân phối chung này, đưa vị trí đúng là . Giả định độc lập ngụ ý rằng đó là sản phẩm của mật độ. Để làm rõ một điểm tinh tế, $x_1, x_2$ $\mu$

Chức năng sản phẩm mà chuyển nhượng đến một quan sát là không một mật độ xác suất cho ; Tuy nhiên, $f_1(x;\mu)f_2(x;\mu)$ $x$ $x$
Sản phẩm là mật độ chung cho cặp được đặt hàng . $f_1(x_1;\mu)f_2(x_2;\mu)$ $(x_1, x_2)$

Trong hình được đăng, là trung tâm của một đốm màu, là tâm của điểm khác và các điểm trong không gian của nó biểu thị các giá trị có thể có của . Chú ý rằng không phải cũng không được thiết kế để nói bất cứ điều gì ở tất cả về xác suất của ! chỉ là một giá trị cố định không xác định . Đây không phải là một biến ngẫu nhiên. $x_1$ $x_2$ $\mu$ $f_1$ $f_2$ $\mu$ $\mu$

Đây là một bước ngoặt tinh tế khác: khả năng được coi là một chức năng của . Chúng tôi có dữ liệu - -chúng tôi chỉ cố gắng để tìm ra những gì là khả năng được. Vì vậy, những gì chúng ta cần phải có âm mưu là chức năng khả năng $\mu$ $\mu$

Λ (μ) = f_{1} (x_{1}; μ) f_{2} (x_{2}; μ) .

$\Lambda(\mu) = f_1(x_1;\mu)f_2(x_2;\mu).$

Một sự trùng hợp ngẫu nhiên là điều này cũng xảy ra là một Gaussian! Các cuộc biểu tình được tiết lộ. Chúng ta hãy làm toán chỉ trong một chiều (chứ không phải hai hoặc nhiều hơn) để xem mẫu - mọi thứ đều khái quát cho nhiều chiều hơn. Logarit của một Gaussian có dạng

\log f_{i} (x_{i}; μ) = A_{i} - B_{i} (x_{i} - μ)^{2}

$\log f_i(x_i;\mu) = A_i - B_i(x_i-\mu)^2$

cho hằng số và . Do đó, khả năng đăng nhập là $A_i$ $B_i$

\begin{aligned} \log Λ (μ) & = A_{1} - B_{1} (x_{1} - μ)^{2} + A_{2} - B_{2} (x_{2} - μ)^{2} \\ = C - (B_{1} + B_{2}) {(μ - \frac{B_{1} x_{1} + B_{2} x_{2}}{B_{1} + B_{2}})}^{2} \end{aligned}

$\eqalign{ \log \Lambda(\mu) &= A_1 - B_1(x_1-\mu)^2 + A_2 - B_2(x_2-\mu)^2 \\ &= C - (B_1+B_2)\left(\mu - \frac{B_1x_1+B_2x_2}{B_1+B_2}\right)^2 }$

trong đó không phụ thuộc vào . Đây là nhật ký của một Gaussian trong đó vai trò của đã được thay thế bằng giá trị trung bình có trọng số đó được hiển thị trong phân số. $C$ $\mu$ $x_i$

Hãy trở lại chủ đề chính. Ước tính ML của là giá trị đó tối đa hóa khả năng. Tương tự, nó tối đa hóa Gaussian này mà chúng ta vừa bắt nguồn từ sản phẩm của Gaussian. Theo định nghĩa, tối đa là một chế độ . Đó là sự trùng hợp - xuất phát từ sự đối xứng điểm của mỗi Gaussian xung quanh tâm của nó - rằng chế độ xảy ra trùng với giá trị trung bình. $\mu$

Phân tích này đã tiết lộ rằng một số sự trùng hợp trong tình huống cụ thể đã che khuất các khái niệm cơ bản:

một phân phối đa biến (chung) dễ bị nhầm lẫn với phân phối đơn biến (không phải là phân phối);
khả năng trông giống như một phân phối xác suất (mà nó không phải);
sản phẩm của Gaussian tình cờ là Gaussian (một sự đều đặn thường không đúng khi các cảm biến thay đổi theo cách không phải Gaussian);
và chế độ của chúng xảy ra trùng khớp với giá trị trung bình của chúng (chỉ được đảm bảo cho các cảm biến có phản ứng đối xứng xung quanh các giá trị thực).

Chỉ bằng cách tập trung vào các khái niệm này và loại bỏ các hành vi trùng hợp, chúng ta mới có thể thấy những gì đang thực sự xảy ra.

— whuber
nguồn

Cảm ơn bạn rất nhiều vì câu trả lời tuyệt vời này. Có vẻ như câu hỏi không đơn giản như nó có vẻ. Tôi đã thực sự tự hỏi tại sao thật khó để tôi hiểu khái niệm độc lập mà tôi nghĩ rằng tôi biết rõ. Tôi sẽ dành thời gian để đảm bảo mọi điểm đều rõ ràng.

— hiểu

Tiền thưởng ảo +150. Khi bạn viết "sản phẩm của hai mật độ không bao giờ là mật độ", thì mật độ đồng nhất trên hay mật độ tập hợp trong 0 thì sao? Sẽ không tốt hơn (thậm chí) tốt hơn khi nói " nói chung không phải là mật độ"?

[0, 1]

$[0,1]$

— hiểu vào

Bạn đúng rồi. Tôi đã nghĩ đến một sự bất bình đẳng có thể trở thành một đẳng thức khi tất cả các giá trị của mật độ là 0, một hoặc vô hạn. Tất cả các mẫu của bạn đều thuộc loại đó.

— whuber

Tôi đã thấy một câu trả lời tuyệt vời nhưng tôi chỉ đăng bài của tôi vì tôi đã bắt đầu viết nó.

Bác sĩ 1 có mô hình dự đoán này: $d_1\sim N(\mu_1, \sigma_1)$

Bác sĩ 2 có mô hình dự đoán này: $d_2\sim N(\mu_2, \sigma_2)$

Vì vậy, để chúng tôi đánh giá xác suất chung chúng tôi chỉ cần nhận ra rằng yếu tố này tạo thành kể từ do sự độc lập của hai bác sĩ. $P(d_1,d_2)=P(d_1|d_2)P(d_2)$ $P(d_1)P(d_2)$ $P(d_1|d_2)=P(d_1)$

— Bác sĩ Mike
nguồn

Ảo +1 cho các chi tiết gọn gàng. Thật xấu hổ khi hệ thống không cho phép tôi cung cấp cho bạn +1 thực sự.

— May mắn

Làm thế nào bạn sẽ xác định là một sự kiện? Ví dụ: "súc sắc cho số 3" là một sự kiện, "chiến thắng hơn 100" cũng vậy. Ở đây tôi không thể xây dựng nó theo cách như vậy, vì không có pfd, nó là pfd. Ví dụ: tôi có thể tính xác suất tôi có ngày để sống theo bác sĩ 1, nhưng xác suất của bao nhiêu?

d_{1}

$d_1$

d_{1}

$d_1$

x

$x$

d_{1}

$d_1$

— hiểu

Có lẽ tôi bối rối vì tôi hiểu là một sự kiện, trong khi đó là một biến ngẫu nhiên. Sau đó, là biến ngẫu nhiên mô tả số ngày còn lại theo Bác sĩ 1. Nhưng ý nghĩa của xác suất chung của và đó có phải là số thực trong không? Điều gì xảy ra nếu lấy giá trị "3 ngày" và lấy giá trị "4 ngày"? Tôi hy vọng câu hỏi của tôi sẽ giúp bạn đảm nhận những gì tôi đang thiếu.

d_{1}

$d_1$

d_{1}

$d_1$

P (d_{1}, d_{2})

$P(d_1,d_2)$

[0, 1]

$[0,1]$

d_{1}

$d_1$

d_{2}

$d_2$

— hiểu

Vì Gaussian là mật độ xác suất , không phải xác suất, nên lời giải thích này không đầy đủ.

— whuber