Giải thích đạo hàm Radon-Nikodym giữa các biện pháp xác suất?

Ở một số điểm tôi đã thấy việc sử dụng đạo hàm Radon-Nikodym của một thước đo xác suất đối với một thước đo xác suất khác, đáng chú ý nhất là trong phân kỳ Kullback-Leibler, trong đó nó là đạo hàm của phép đo xác suất của một mô hình cho một tham số tùy ý đối với tham số thực : $\theta$ $\theta_0$

\frac{d P_{θ}}{d P_{θ_{0}}}

$\frac {dP_\theta}{dP_{\theta_0}}$

Trong đó cả hai đều là các số đo xác suất trên không gian của các điểm dữ liệu có điều kiện trên một giá trị tham số: . $P_\theta(D)=P(D|\theta)$

Giải thích về một dẫn xuất Radon-Nikodym như vậy trong phân kỳ Kullback-Leibler, hay nói chung hơn là giữa hai biện pháp xác suất?

— người dùng56834
nguồn

Đầu tiên, chúng ta không cần các biện pháp xác suất, chỉ cần -finitness. Vì vậy, hãy là một không gian đo lường được và để cho và được -finite biện pháp trên . $\sigma$ $\mathcal M = (\Omega, \mathscr F)$ $\mu$ $\nu$ $\sigma$ $\mathcal M$

Các Radon-Nikodym lý khẳng định rằng nếu cho tất cả , ký hiệu bằng , sau đó có tồn tại một Borel không âm hàm như vậy cho tất cả . $\mu(A) = 0 \implies \nu(A) = 0$ $A \in \mathscr F$ $\mu \gg \nu$ $f$

ν (A) = \int_{A} f d μ

$\nu(A) = \int_A f \,\text d\mu$

A \in F

$A \in \mathscr F$

Đây là cách tôi muốn nghĩ về điều này. Đầu tiên, đối với hai biện pháp bất kỳ trên , hãy xác định có nghĩa là . Đây là một mối quan hệ tương đương hợp lệ và chúng ta nói rằng và là tương đương trong trường hợp này. Tại sao điều này là một sự tương đương hợp lý cho các biện pháp? Các biện pháp chỉ là chức năng nhưng tên miền của chúng là khó khăn để hình dung. Thế còn nếu hai hàm thông thường có thuộc tính này, tức là ? Chà, xác định và lưu ý rằng bất cứ nơi nào trên sự hỗ trợ của $\mathcal M$ $\mu \sim \nu$ $\mu(A) = 0 \iff \nu(A) = 0$ $\mu$ $\nu$ $f, g :\mathbb R \to \mathbb R$ $f(x) = 0 \iff g(x) = 0$

h (x) = {\begin{cases} f (x) / g (x) & g (x) \neq 0 \\ π^{e} & o.w. \end{cases}

$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$

g

$g$ chúng tôi có và ngoài sự hỗ trợ của (vì và chia sẻ hỗ trợ) nên cho phép chúng tôi chuyển đổi thành . Như @whuber chỉ ra, ý tưởng chính ở đây không phải là bằng cách nào đó "an toàn" để làm hoặc bỏ qua, mà là khi thì không quan trọng là làm gì nên chúng ta có thể định nghĩa nó một cách tùy ý (như trở thành không có ý nghĩa đặc biệt ở đây) và mọi thứ vẫn hoạt động. Ngoài ra trong trường hợp này chúng ta có thể định nghĩa hàm tương tự với sao cho

g h = f

$gh = f$

g

$g$

g h = 0 \cdot π^{e} = 0 = f

$gh = 0 \cdot \pi^e = 0 = f$

f

$f$

g

$g$

h

$h$

g

$g$

f

$f$

0 / 0

$0/0$

g = 0

$g = 0$

h

$h$

π^{e}

$\pi^e$

h^{'}

$h'$

g / f

$g / f$

f h^{'} = g

$fh' = g$ .

Tiếp theo giả sử , nhưng hướng khác không nhất thiết phải giữ. Điều này có nghĩa là định nghĩa trước đây của chúng tôi về vẫn hoạt động, nhưng bây giờ không hoạt động vì nó sẽ có phân chia thực tế bằng . Do đó, chúng ta có thể chuyển đổi thành thông qua , nhưng chúng ta không thể đi theo hướng khác bởi vì chúng ta cần phải chuyển một số thành một số khác không. $g(x) = 0 \implies f(x) = 0$ $h$ $h'$ $0$ $g$ $f$ $gh = f$ $0$

Bây giờ, hãy trở lại và và biểu thị RND của chúng tôi bằng . Nếu , thì điều này theo trực giác có nghĩa là người ta có thể thay đổi kích thước thành người khác và ngược lại. Nhưng nhìn chung, chúng tôi chỉ muốn đi theo một hướng với điều này (nghĩa là hủy bỏ một biện pháp tốt đẹp như biện pháp Lebesgue thành một biện pháp trừu tượng hơn) vì vậy chúng tôi chỉ cần để làm những việc hữu ích. Sự thay đổi kích thước này là trái tim của RND. $\mu$ $\nu$ $f$ $\mu \sim \nu$ $\mu \gg \nu$

$0/0$ $0$ $A$ $\mu(A) = 0$ $1$ $0/0$ $0/0$ $0$ $\mu$ vì vậy chúng tôi chỉ có thể định nghĩa RND của mình là một cái gì đó tốt đẹp ở đó mà không ảnh hưởng đến bất cứ điều gì.

$k \cdot \mu = \nu$ $k > 0$

ν (A) = \int_{A} d ν = \int_{A} k d μ

$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$

f (x) = k = \frac{d ν}{d μ}

$f(x) = k = \frac{\text d\nu}{\text d\mu}$

$0$ $f(x) = \varphi(x) + 1_{\mathbb Q}(x)$ $1$ $X$

P (X \in A) = \int_{A} (φ + 1_{Q}) d λ

$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$

= \int_{A} φ d λ + λ (Q) = \int_{A} φ d λ

$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$

X

$X$

X

$X$

Q

$\mathbb Q$

0

$0$

λ

$\lambda$

$X \sim \text{Pois}(\eta)$ $Y \sim \text{Bin}(n, p)$ $P_X$ $P_Y$ $c$ $c$ $c(A) = 0 \iff A = \emptyset$

\frac{d P_{Y}}{d P_{X}} = \frac{d P_{Y} / d c}{d P_{X} / d c} = \frac{f_{Y}}{f_{X}}

$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$

P_{Y} (A) = \int_{A} d P_{Y}

$P_Y(A) = \int_A \,\text dP_Y$

= \int_{A} \frac{d P_{Y}}{d P_{X}} d P_{X} = \int_{A} \frac{d P_{Y}}{d P_{X}} \frac{d P_{X}}{d c} d c

$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$

= \sum_{y \in A} \frac{d P_{Y}}{d P_{X}} (y) \frac{d P_{X}}{d c} (y) = \sum_{y \in A} \frac{f_{Y} (y)}{f_{X} (y)} f_{X} (y) = \sum_{y \in A} f_{Y} (y) .

$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$

$P(X = n) > 0$ $n$ $Y$

$P \ll Q$ $\mu$ $\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$

— jld
nguồn

0 / 0

$0/0$

0 / 0

$0/0$

@whuber cảm ơn rất nhiều vì bình luận, điều đó thực sự có ích. Tôi đã cố gắng để cập nhật đến địa chỉ đó

— JLD