Ước tính khả năng tối đa của phân phối chung chỉ đưa ra số lượng biên

Đặt là phân phối chung của hai biến phân loại , với . Giả sử mẫu được rút ra từ phân phối này, nhưng chúng tôi chỉ được tính tổng số biên, cụ thể là cho : $p_{x,y}$ $X,Y$ $x,y\in\{1,\ldots,K\}$ $n$ $j=1,\ldots,K$

S_{j} = \sum_{i = 1}^{n} δ (X_{i} = l), T_{j} = \sum_{i = 1}^{n} δ (Y_{i} = j),

$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$

Công cụ ước tính khả năng tối đa cho , được đưa ra gì? Điều này có được biết không? Tính toán khả thi? Có cách tiếp cận hợp lý nào khác cho vấn đề này ngoài ML không? $p_{x,y}$ $S_j,T_j$

— RS
nguồn

Các lề không thực sự chứa thông tin * về phân phối chung (thực sự đây là điểm của các công thức). * hoặc ít nhất là hầu như không có - rõ ràng là các lề có chứa ít nhất một số thông tin, vì số lượng bên trong không thể vượt quá mức lợi nhuận mà chúng xảy ra. Bạn có phân phối chung cụ thể không? Tại sao bạn sử dụng thẻ? Bạn có sau một giải pháp entropy tối đa?

$\:$ maximum-entropy

— Glen_b -Reinstate Monica

Tôi không quen thuộc lắm với các công thức. Họ có giữ cho trường hợp phân loại là tốt? Điều đó có nghĩa là gì - rằng mọi phân phối chung có cùng tỷ suất lợi nhuận sẽ có cùng khả năng? (Tôi đã gắn thẻ entropy tối đa vì tôi nghĩ rằng nó có thể có liên quan.)

— RS

Chúng tôi thậm chí chưa có một mô hình phân phối được chỉ định, vì vậy chúng tôi không thực sự ở vị trí để tính

. Có rất nhiều khả năng ở đây. Các bản sao tồn tại cho trường hợp phân loại được đặt hàng (nếu không phải là duy nhất), nhưng mục đích của tôi trong việc nâng cao nó là để tạo động lực cho lý do tại sao nói chung các thông tin không có nhiều thông tin. Đối với trường hợp đếm phân loại, Fisher coi các lề là không chính xác về khớp, từ đó kiểm tra chính xác Fisher-Irwin. Nếu bạn muốn entropy tối đa, có lẽ bạn có thể nhận được một giải pháp entropy tối đa, nhưng tôi không biết rằng nó sẽ rất nhiều thông tin về ...

P (x | θ)

$P(x|\theta)$

— Glen_b -Reinstate Monica

(ctd) ... cấu trúc. Trong cả hai trường hợp ME hoặc ML, tôi nghĩ trước tiên bạn sẽ cần một loại mô hình nào đó, cho dù đó là siêu phân tích đa biến, bivariate, hoặc một cái gì đó có cấu trúc nhiều hơn. Xem câu hỏi này , nơi tác giả đặt một tài liệu tham khảo vào một câu trả lời. Đó có thể là sự giúp đỡ.

— Glen_b -Reinstate Monica

Tôi có nghĩa là một phân phối đa biến bivariate chung. Câu hỏi nói về trường hợp tổng của phân phối được đưa ra và chúng ta thấy các mẫu từ phân phối chung. Ở đây chúng tôi có các khoản tiền của mẫu. Tôi nghĩ vấn đề được xác định rõ trong trường hợp ML (giải pháp có thể không phải là duy nhất nhưng tôi không biết).

— RS

Câu trả lời:

Loại vấn đề này đã được nghiên cứu trong bài báo "Tăng dữ liệu trong các bảng dự phòng đa chiều với tổng số biên cố định" của Dobra et al (2006). Hãy biểu thị các thông số của mô hình, chúng ta hãy biểu thị bảng số nguyên không quan sát được của tính cho mỗi cặp, và để cho là tập hợp các bảng số nguyên mà đếm biên bằng . Khi đó xác suất quan sát tổng số biên là: $\theta$ $\mathbf{n}$ $(x,y)$ $C(S,T)$ $(S,T)$ $(S,T)$ và nơi là sự phân bố lấy mẫu đa thức. Điều này xác định hàm khả năng cho ML, nhưng đánh giá trực tiếp là không khả thi trừ các vấn đề nhỏ. Cách tiếp cận mà họ đề xuất là MCMC, trong đó bạn thay thế cập nhật bằng cách lấy mẫu từ phân phối đề xuất và chấp nhận thay đổi theo tỷ lệ chấp nhận của Metropolis-Hastings. Điều này có thể được điều chỉnh để tìm một mức tối đa gần đúng hơn

p (S, T | θ) = = \underset{n \in C (S, T)}{Σ} p (n | θ)

$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$

p (n | θ)

$p(\mathbf{n} | \theta)$

n

$\mathbf{n}$

θ

$\theta$

bằng

sử dụng Monte Carlo EM.

θ

$\theta$

Một cách tiếp cận khác nhau sẽ sử dụng các phương pháp biến đổi để tính gần đúng tổng trên . Các ràng buộc biên có thể được mã hóa dưới dạng biểu đồ nhân tố và suy luận về $\mathbf{n}$ có thể được thực hiện bằng vọng Tuyên truyền. $\theta$

Để xem tại sao vấn đề này khó khăn và không thừa nhận một giải pháp tầm thường, hãy xem xét trường hợp . Lấy là tổng của hàng và là tổng của cột, có hai bảng tổng số có thể có: $S=(1,2), T=(2,1)$ $S$ $T$ Do đó hàm likelihood là Các MLE cho vấn đề này là

[\begin{matrix} 0 & 1 \\ 2 & 0 \end{matrix}] [\begin{matrix} 1 & 0 \\ 1 & 1 \end{matrix}]

$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$

p (S, T | θ) = 3 p_{12} p_{21}^{2} + 6 p_{11} p_{21} p_{22}

$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$

{\hat{p}}_{x, y} = [\begin{matrix} 0 & 1 / 3 \\ 2 / 3 & 0 \end{matrix}]

$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$ tương ứng với giả sử bảng bên trái. Ngược lại, ước tính rằng bạn sẽ nhận được bằng cách giả định độc lập là

trong đó có một giá trị khả năng nhỏ hơn.

q_{x, y} = [\begin{matrix} 1 / 3 \\ 2 / 3 \end{matrix}] [\begin{matrix} 2 / 3 & 1 / 3 \end{matrix}] = [\begin{matrix} 2 / 9 & 1 / 9 \\ 4 / 9 & 2 / 9 \end{matrix}]

$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$

— Tom chồn
nguồn

Có phải là không thể có được một giải pháp phân tích?

— Ben Kuhn

θ

$\theta$

θ = {θ_{x, y}}

$\theta=\{\theta_{x,y}\}$

(x, y)

$(x,y)$

Tôi sẽ không nghi ngờ rằng có một giải pháp phân tích. Tôi đã thêm một ví dụ để minh họa điều này.

— Tom Minka

Cảm ơn. Có lẽ đó là sự thật không có triệu chứng? Sau đó, điều hòa trên tổng số ký quỹ giống như điều hòa trên phân phối lề (sau khi chuẩn hóa) và khả năng ghi nhật ký cho mỗi bảng số nguyên không quan sát được tỷ lệ thuận với entropy của nó. Có lẽ có chuyện gì với AEP rồi?

— RS

Như đã được @Glen_b chỉ ra, điều này không được chỉ định đầy đủ. Tôi không nghĩ bạn có thể sử dụng khả năng tối đa trừ khi bạn có thể chỉ định đầy đủ khả năng.

Nếu bạn sẵn sàng đảm nhận sự độc lập, thì vấn đề khá đơn giản (tình cờ, tôi nghĩ giải pháp sẽ là giải pháp entropy tối đa đã được đề xuất). Nếu bạn không sẵn sàng hoặc không thể áp đặt cấu trúc bổ sung trong vấn đề của mình và bạn vẫn muốn một số loại gần đúng với các giá trị của các ô, có thể bạn có thể sử dụng giới hạn copula Fréchet Thẻ Hoeffding . Nếu không có giả định bổ sung, tôi không nghĩ bạn có thể tiến xa hơn.

— F. Tusell
nguồn

Khả năng trong việc này có thể là đa quốc gia. Tại sao điều đó là không đủ?

— RS

Theo tôi hiểu, khả năng là một chức năng của các tham số được cung cấp dữ liệu. Ở đây, bạn không có các giá trị cho mỗi ô, chỉ có các lề, do đó bạn không có một hàm duy nhất của các tham số mà bạn có thể tính toán, hãy để một mình tối đa hóa. Nhìn chung có nhiều cấu hình ô tương thích với lề và mỗi cấu hình sẽ cho một khả năng khác nhau.

— F. Tusell

p

$p$

p

$p$

$p_{x,y}$ $p_x = \sum_y p_{x,y}$ $p_y = \sum_x p_{x,y}$ . Tôi vẫn đang suy nghĩ về nó.

Những thứ sai sau:

$p_{x, y}$ $X, Y$ $S_1 = S_2 = T_1 = T_2 = 10$

p = (\begin{array}{cc} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{array}), p = (\begin{array}{cc} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{array})

$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$

$p_x$ $p_y$

$p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ $0 < a \le d$ $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

$X, Y$ độc lập. Bạn có thể thấy điều này như sau:

$H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$ $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $\vec g(p) = 0$ $g_x(p) = \sum_y p_{x,y} - p_x$ $g_y(p) = \sum_x p_{x,y} - p_y$

\nabla H (p) = \sum_{k \in X \cup Y} λ_{k} \nabla g_{k} (p)

$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$

$g_k$

1 - \log p_{x, y} = λ_{x} + λ_{y} ⟹ p_{x, y} = e^{1 - λ_{x} - λ_{y}}

$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$

$\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $e^{1/2 - \lambda_x} = p_x$ $e^{1/2 - \lambda_y} = p_y$

p_{x, y} = p_{x} p_{y} .

$p_{x,y} = p_xp_y.$

— Ben Kuhn
nguồn

For the first example: What is given is the marginal counts, not the marginal probabilities. In the case you've described, the probability of

S_{1} = S_{2} = T_{1} = T_{2} = 10

$S_1=S_2=T_1=T_2=10$ for the left

p

$p$ is the probability of

[[10, 0], [0, 10]]

$[[10,0],[0,10]]$ which is

2^{- 20}

$2^{-20}$ . For the right

p

$p$ , it is

\sum_{0 \leq a \leq 10} P r [[a, 10 - a], [10 - a, a]]

$\sum_{0\le a \le 10}{Pr[[a,10-a],[10-a,a]]}$ , which is

10 \cdot 4^{- 20}

$10\cdot 4^{-20}$ . Even if there is no unique solution, it doesn't mean we can't point to some solution. Maximum entropy gives a unique solution, but it might not be maximum likelihood.

— R S

You've calculated the probabilities incorrectly; for instance, you forgot to include the binomial coefficients. But you're right in that the two matrices give different joint distributions of marginal counts even though they give the same marginal distribution of marginal counts. (Yikes!) I'll think about this more.

— Ben Kuhn