Phân phối tiệm cận của đa thức

10

Tôi đang tìm kiếm sự phân phối giới hạn của phân phối đa quốc gia trên các kết quả d. IE, phân phối sau đây

lim_{n \to \infty} n^{- \frac{1}{2}} X_{n}

$\lim_{n\to \infty} n^{-\frac{1}{2}} \mathbf{X_n}$

Trong đó $\mathbf{X_n}$ là biến ngẫu nhiên có giá trị vectơ với mật độ $f_n(\mathbf{x})$ cho $\mathbf{x}$ sao cho $\sum_i x_i=n$ , $x_i\in \mathbb{Z}, x_i\ge 0$ và 0 cho tất cả các $\mathbf{x}$ , trong đó

f_{n} (x) = n! \prod_{i = 1}^{d} \frac{p_{i}^{x_{i}}}{x_{i}!}

$f_{n}(\mathbf{x})=n!\prod_{i=1}^d\frac{p_i^{x_i}}{x_i!}$

Tôi đã tìm thấy một dạng trong Định lý "Tất cả các số liệu thống kê" của Larry Wasserman 14.6, trang 237 nhưng để hạn chế phân phối, nó cung cấp Bình thường với ma trận hiệp phương sai số ít, vì vậy tôi không chắc làm thế nào để bình thường hóa nó. Bạn có thể chiếu vectơ ngẫu nhiên vào không gian hai chiều (d-1) để tạo toàn bộ ma trận hiệp phương sai, nhưng sử dụng phép chiếu nào?

Cập nhật 11/5

Ray Koopman có một bản tóm tắt hay về vấn đề Gaussian số ít. Về cơ bản, ma trận hiệp phương sai số ít biểu thị mối tương quan hoàn hảo giữa các biến, không thể biểu diễn bằng Gaussian. Tuy nhiên, người ta có thể có được phân phối Gaussian cho mật độ có điều kiện, dựa trên thực tế là giá trị của vectơ ngẫu nhiên là hợp lệ (các thành phần cộng với $n$ trong trường hợp trên).

Sự khác biệt của Gaussian có điều kiện, là nghịch đảo được thay thế bằng nghịch đảo giả và hệ số chuẩn hóa sử dụng "sản phẩm của các giá trị riêng không bằng 0" thay vì "sản phẩm của tất cả các giá trị riêng". Ian Frisce cung cấp liên kết với một số chi tiết.

Cũng có một cách để biểu thị hệ số chuẩn hóa của Gaussian có điều kiện mà không đề cập đến giá trị riêng, đây là một dẫn xuất

asymptotics multinomial

— Ba Tư
nguồn

Chính xác thì bạn có ý gì khi giới hạn phân phối trong trường hợp này?

— Robby McKilliam

tức là, cái bạn nhận được từ Định lý giới hạn trung tâm, hãy để tôi cập nhật thông tin chi tiết

— Yaroslav Bulatov

1

Những gì bạn đang đề cập đến là phân phối tiệm cận của công cụ ước tính khả năng tối đa của đa thức. Ngoài ra, phương trình đầu tiên phải là n ^ {- 1}, không phải n ^ {- 1/2}.

— Simon Byrne

1

Trong ký hiệu ở trên, với d = 2, X_n là số lượng đầu sau khi n xu ném, vì vậy đó là X_n / sqrt (n) tiếp cận Bình thường, không phải X_n / n, không?

— Yaroslav Bulatov

1

Vâng bạn đã đúng. Tôi chỉ bối rối chính mình.

— Simon Byrne

6

Hiệp phương sai vẫn không xác định không âm ( phân phối chuẩn đa biến hợp lệ ), nhưng không xác định dương: điều này có nghĩa là (ít nhất) một yếu tố của vectơ ngẫu nhiên là sự kết hợp tuyến tính của các yếu tố khác.

Kết quả là, bất kỳ sự rút ra nào từ bản phân phối này sẽ luôn nằm trên một không gian con của . Kết quả là, điều này có nghĩa là không thể xác định hàm mật độ (vì phân phối tập trung vào không gian con: nghĩ về cách một bình thường đơn biến sẽ tập trung ở mức trung bình nếu phương sai bằng 0). $R^d$

Tuy nhiên, theo đề xuất của Robby McKilliam, trong trường hợp này bạn có thể bỏ phần tử cuối cùng của vectơ ngẫu nhiên. Ma trận hiệp phương sai của vectơ rút gọn này sẽ là ma trận gốc, với cột và hàng cuối cùng được bỏ đi, bây giờ sẽ có giá trị dương và sẽ có mật độ (thủ thuật này sẽ hoạt động trong các trường hợp khác, nhưng bạn phải cẩn thận phần tử nào bạn thả, và bạn có thể cần phải thả nhiều hơn một).

— Simon Byrne
nguồn

Điều không thỏa đáng là sự tự do lựa chọn, để có được mật độ hợp lệ, tôi cần yêu cầu phân phối A x trong đó A là ma trận thứ hạng d-1 (d) x (d-1). Liệu sai số xấp xỉ CLT cho hữu hạn n có tương đương với tất cả các lựa chọn của A không? Điều đó không rõ ràng đối với tôi

— Yaroslav Bulatov

1

Có, lỗi phải luôn luôn như vậy. Hãy nhớ rằng phần tử cuối cùng của vectơ phụ thuộc chức năng vào các phần tử (d-1) khác (trong cả mẫu hữu hạn và trường hợp tiệm cận).

— Simon Byrne

Không phải là yếu tố 'cuối cùng' phụ thuộc, vấn đề của Yar Tư là anh ta không thích ý tưởng chọn yếu tố nào để loại bỏ. Tôi đồng ý với câu trả lời bạn đã đưa ra nhưng tôi cũng nghĩ rằng cần phải suy nghĩ và quan tâm nhiều hơn một chút ở đây.

— Robby McKilliam

@ Nam Tư: Có lẽ sẽ rất tốt nếu bạn có ý tưởng về ứng dụng nào bạn có trong đầu, bởi vì ở giai đoạn này có rất nhiều câu trả lời cho câu hỏi của bạn.

— Robby McKilliam

1

Robby - ứng dụng tôi có trong đầu là mathoverflow.net/questions/37582/. Về cơ bản các tích hợp của Gaussian được đề xuất bởi CLT cung cấp xấp xỉ cực kỳ tốt cho các hệ số nhị thức (đối với n nhỏ, thậm chí tốt hơn là tích hợp trực tiếp biểu diễn Gamma!), vì vậy tôi đã thấy nếu tôi có thể làm một cái gì đó tương tự để có được các khoản gần đúng của các hệ số đa thức, mà tôi cần phải nhận được các giới hạn lỗi không có triệu chứng cho nhiều người khác nhau (như, khả năng tối đa)

— Yaroslav Bulatov

2

Không có vấn đề cố hữu với hiệp phương sai số ít ở đây. Phân phối tiệm cận của bạn là số ít bình thường. Xem http://fedc.wiwi.hu-berlin.de/xplore/tutorials/mvahtmlnode34.html để biết mật độ của số ít thông thường.

— Ian Fiske
nguồn

Về mặt kỹ thuật, vấn đề là ma trận hiệp phương sai số ít có nghĩa là một số tập hợp con của các biến tương quan hoàn hảo, do đó mật độ xác suất phải chính xác bằng 0 ở một số khu vực, nhưng điều đó là không thể với Gaussian. Một giải pháp là thay vì nhìn vào mật độ có điều kiện, dựa trên thực tế là biến ngẫu nhiên nằm trong một khu vực khả thi. Điều này trông giống như những gì họ đang làm trong liên kết. Chưa bao giờ nghe cụm từ "G- nghịch đảo", tôi đoán đó là giả nghịch đảo Penrose-Moore?

— Yaroslav Bulatov

Mặc dù đúng là một Gaussian d chiều thông thường có hỗ trợ trên tất cả các , nhưng Gaussian số ít thì không. G-inverse được khái quát hóa nghịch đảo, và vâng, tôi tin rằng định nghĩa Penrose-Moore hoạt động ở đây. Tôi nghĩ rằng có một CLT cho hiệp phương sai số ít, nói như mong đợi, hội tụ trong phân phối cho CLT số ít, mặc dù tôi không thể tìm thấy một ref ngay bây giờ.

ℜ^{d}

$\Re^d$

— Ian Fiske

1

Theo tôi, ma trận hiệp phương sai của Wasserman là số ít, để xem, nhân nó với một vectơ của , tức là có độ dài . $d$ $[1,1,1,\dots,1]^\prime$ $d$

Wikipedia đưa ra ma trận hiệp phương sai tương tự. Nếu chúng ta giới hạn bản thân chỉ là phân phối nhị thức thì định lý giới hạn trung tâm tiêu chuẩn cho chúng ta biết rằng phân phối nhị thức (sau khi chia tỷ lệ thích hợp) hội tụ về mức bình thường khi trở nên lớn (xem lại wikipedia ). Áp dụng các ý tưởng tương tự, bạn sẽ có thể chỉ ra rằng một mulinomial có tỷ lệ phù hợp sẽ hội tụ trong phân phối cho đa biến thông thường, tức là mỗi phân phối biên chỉ là một nhị thức và hội tụ vào phân phối bình thường, và phương sai giữa chúng được biết đến. $n$

Vì vậy, tôi rất tin tưởng bạn sẽ thấy rằng phân phối của hội tụ đến đa biến thông thường với giá trị trung bình bằng 0 và hiệp phương sai trong đó là hiệp phương sai ma trận của đa thức trong câu hỏi và là vectơ xác suất .

\frac{X_{n} - n p}{\sqrt{n}}

$\frac{X_n - np}{\sqrt{n}}$

\frac{C}{n}

$\frac{C}{n}$

C

$C$

p

$p$

[p_{1}, \dots, p_{d}]

$[p_1,\dots,p_d]$

— Robby McKilliam
nguồn

1

nhưng ma trận hiệp phương sai của đa thức trong câu hỏi là số ít, bạn đã tự mình chỉ ra điều đó ...

— Yaroslav Bulatov

Ồ, tôi thấy vấn đề của bạn! Một trong những yếu tố, nói rằng th hoàn toàn phụ thuộc vào những người khác. Có lẽ nếu bạn cắt bỏ hàng và cột cuối cùng của bạn sẽ nhận được thường được phân phối, nhưng tôi sẽ phải suy nghĩ về nó. Chắc chắn điều này đã được giải quyết ở đâu đó rồi!

d

$d$

C

$C$

[p_{1}, p_{2}, \dots, p_{d - 1}]

$[p_1,p_2,\dots,p_{d-1}]$

— Robby McKilliam

Một đề nghị tôi tìm thấy là vẫn sử dụng Gaussian, nhưng sử dụng giả ngược thay vì nghịch đảo và "sản phẩm của giá trị riêng không bằng 0" thay cho định thức. Với d = 2, điều này dường như đưa ra dạng mật độ chính xác, nhưng hệ số chuẩn hóa bị tắt

— Yaroslav Bulatov

1

Có phải đó không phải là trường hợpvới tất cả trong đó là ma trận hiệp phương sai đa biến với hàng thứ và cột bị loại bỏ? Vì đây là trường hợp, tôi không hiểu ý của bạn là "tự do lựa chọn" vì bất kỳ "lựa chọn" nào cũng tương đương. $|S_{-i}|=|S_{-j}|$ $i,j$ $S_{-i}$ $i$

— jvdillon
nguồn

Các ma trận này không bằng nhau, đây là ma trận hiệp phương sai yaroslavvb.com/upload/multinomial-covariance-matrix.png

— Yaroslav Bulatov

Vâng, đây thực sự là ma trận hiệp phương sai. Bỏ bất kỳ cột và hàng thứ i nào trong cùng một thuật ngữ chuẩn hóa cho Gaussian là quan điểm của tôi. Có lẽ tôi đang thiếu một cái gì đó rõ ràng?

— jvdillon

À ... không nhận thấy dấu hiệu quyết định. Hừm ... họ dường như bằng nhau trên một số ví dụ tôi đã thử, có bằng chứng đơn giản về điều này không? Eigenvalues không bằng nhau tuy nhiên. Động lực cho câu hỏi là tìm hiểu xem định lý giới hạn trung tâm có cung cấp cho bạn lỗi xấp xỉ tương tự đối với hữu hạn không phụ thuộc vào đa phương thức nào. thành phần bạn thả

n

$n$

— Yaroslav Bulatov

Có lẽ là cách dễ nhất để thuyết phục bản thân là và cắm trong cho trong .

p_{i} = 1 - \sum_{j \neq i} p_{j}

$p_i=1-\sum_{j\ne i}p_j$

p_{i}

$p_i$

S

$S$

— jvdillon

BTW, tôi thích ứng dụng của bạn về ý tưởng này - do đó tôi quan tâm đến việc phản hồi.

— jvdillon