Điều kiện đầy đủ có thể xác định phân phối chung?

Tôi nghe nói rằng tất cả các điều kiện đầy đủ (như được sử dụng trong lấy mẫu Gibbs) có thể xác định phân phối chung. Nhưng tôi không hiểu tại sao và như thế nào. Hay tôi đã nghe nhầm? Cảm ơn!

distributions

— Tim
nguồn

Câu hỏi có vẻ đơn giản này sâu sắc hơn vẻ ngoài của nó, dẫn chúng ta đến tất cả các định lý Hammersley-Clifford. Việc chúng ta có thể phục hồi phân phối chung từ các điều kiện đầy đủ là điều làm cho bộ lấy mẫu Gibbs có thể. Nó có thể được coi là một kết quả đáng ngạc nhiên, nếu chúng ta nhớ rằng các lề không xác định phân phối chung.

Chúng ta hãy xem điều gì xảy ra nếu chúng ta tính toán chính thức với các định nghĩa nổi tiếng về mật độ chung, điều kiện và biên độ. Vì chúng ta có và chúng tôi có thể chính thức khôi phục mật độ khớp từ các điều kiện đầy đủ làm cho

f_{X, Y} (x, y) = f_{X ∣ Y} (x ∣ y) f_{Y} (y) = f_{Y ∣ X} (y ∣ x) f_{X} (x),

$f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\,f_Y(y)=f_{Y\mid X}(y\mid x)\,f_X(x) \, ,$

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y = \int \frac{f_{Y} (y)}{f_{X} (x)} d y = \frac{1}{f_{X} (x)},

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy = \int \frac{f_Y(y)}{f_X(x)}dy = \frac{1}{f_X(x)} \, ,$

f_{X, Y} (x, y) = \frac{f_{Y ∣ X} (y ∣ x)}{\int f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) d y} . (*)

$f_{X,Y}(x,y) = \frac{f_{Y\mid X}(y\mid x)}{\int f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y)\,dy} \, . \qquad (*)$

Vấn đề với tính toán chính thức này là nó cho rằng tất cả các đối tượng liên quan đều tồn tại.

Chẳng hạn, hãy xem xét điều gì xảy ra nếu chúng ta được cho rằng Theo sau và tích phân trong mẫu số của phân kỳ.

X ∣ Y = y \sim Exp (y) and Y ∣ X = x \sim Exp (x) .

$X\mid Y=y\sim\text{Exp}(y) \qquad \text{and} \qquad Y\mid X=x\sim\text{Exp}(x) \, .$

f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) = x / y

$f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y) = x /y$

(*)

$(*)$

Để đảm bảo rằng chúng tôi có thể khôi phục mật độ khớp từ các điều kiện đầy đủ bằng cách sử dụng chúng tôi cần các điều kiện tương thích được thảo luận trong bài viết này: $(*)$

"Phân phối có điều kiện tương thích", Barry C. Arnold và S. James Press, Tạp chí của Hiệp hội Thống kê Hoa Kỳ, Tập. 84, số 405 (1989), trang 152-156.

Cuối cùng, đọc cuộc thảo luận về Định lý Hammersley-Clifford trong cuốn sách của Robert và Casella

— thiền học
nguồn

Bạn có thể làm rõ những gì có nghĩa là "tích phân .... tồn tại"? Dường như có hai vấn đề khác nhau ở đây, viz. (i) tích phân có tồn tại hay không? và (ii) nếu tích phân tồn tại, giá trị của nó ? Hoặc là bạn nói rằng bất cứ khi nào và có mật độ có điều kiện như vậy mà tồn tại , sau đó phải là giá trị của tích phân là ?

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

X

$X$

Y

$Y$

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

— Dilip Sarwate

Cảm ơn, @Zen! và có thể xác định và và cũng có thể xác định . (1) Cái nào cung cấp thêm thông tin, hoặc ? (2) Cái nào cung cấp ít thông tin dư thừa / chồng chéo với , hoặc ? (3) Trong số và , một trong số họ đã cung cấp thông tin của người kia chưa (mà tôi nghi ngờ, vì điều đó sẽ ám chỉ người này dẫn đến người khác)? Tôi đoán đó là "giao điểm" giữa thông tin của và của

f_{Y}

$f_Y$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$ , cùng với xác định .

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

— Tim

Chào tim. đại diện cho bạn không chắc chắn về , trong khi đại diện cho sự không chắc chắn của bạn về , cho rằng bạn biết giá trị của . "Cái nào chứa nhiều thông tin hơn?" không phải là một câu hỏi dễ Nếu và tương thích (theo nghĩa của Arnold và Press), thì họ xác định đến .

f_{Y}

$f_Y$

Y

$Y$

f_{Y ∣ X}

$f_{Y\mid X}$

Y

$Y$

X

$X$

f_{X ∣ Y}

$f_{X\mid Y}$

f_{Y ∣ X}

$f_{Y\mid X}$

f_{X, Y}

$f_{X,Y}$

(*)

$(*)$

— Zen

Tôi hiện đang vật lộn với cùng một vấn đề. Tôi hơi bối rối bởi sự cần thiết phải phân phối có điều kiện tương thích, vì những điều này không bao giờ được đề cập trong bất kỳ (ít nhất là những gì tôi đã đọc) giới thiệu về Lấy mẫu Gibbs. Hoặc nhu cầu phân phối có điều kiện tương thích chỉ giữ, nếu một người cố gắng chính thức khôi phục các phân phối chung, ví dụ: (*). -> không xấp xỉ phân phối chung bằng Gibbs Sampling?

— sklingel

Trong cài đặt lấy mẫu Gibbs thông thường được áp dụng cho một vấn đề thống kê, bạn cho rằng phân phối xác suất chung (sau) tồn tại, do đó các điều kiện đầy đủ có được từ phân phối chung này là tương thích. Bên ngoài trường hợp này, lấy mẫu Gibbs là vô nghĩa.

— Tây An