Làm cách nào để mô hình tổng các biến ngẫu nhiên Bernoulli cho dữ liệu phụ thuộc?

Tôi có hầu hết các câu hỏi tương tự như thế này: Làm thế nào tôi có thể mô hình hiệu quả tổng các biến ngẫu nhiên Bernoulli?

Nhưng cài đặt khá khác nhau:

1. P ( X i = 1 ) = p i N p $S=\sum_{i=1,N}{X_i}$ , , ~ 20, ~ 0.1$P(X_{i}=1)=p_i$$N$$p_i$

2. Chúng tôi có dữ liệu về kết quả của các biến ngẫu nhiên Bernoulli: ,$X_{i,j}$$S_j=\sum_{i=1,N}{X_{i,j}}$

3. Nếu chúng tôi ước tính với ước tính khả năng tối đa (và nhận ), thì hóa ra lớn hơn nhiều được mong đợi bởi các tiêu chí khác:$p_i$P { S = 3 } ( p M L E i ) P { S = 3 } ( p M L E i ) - P e x p đ c t đ d { S = 3 } ≈ $\hat p^{MLE}_i$$\hat P\{S=3\} (\hat p^{MLE}_i)$$\hat P\{S=3\} (\hat p^{MLE}_i) - \hat P^{expected} \{S=3\}\approx 0.05$

4. Vì vậy, và không thể được coi là độc lập (chúng có sự phụ thuộc nhỏ).$X_{i}$$X_{j}$ $(j>k)$

5. Có một số ràng buộc như sau: và (đã biết), sẽ giúp ước tính .$p_{i+1} \ge p_i$$\sum_{s \le 2}\hat P\{S=s\}=A$$P\{S\}$

Làm thế nào chúng ta có thể cố gắng mô hình tổng các biến ngẫu nhiên Bernoulli trong trường hợp này?

Những gì văn học có thể hữu ích để giải quyết nhiệm vụ?

CẬP NHẬT

Có một số ý tưởng khác:

(1) Có thể giả định rằng sự phụ thuộc không xác định giữa bắt đầu sau 1 hoặc nhiều thành công trong chuỗi. Vì vậy, khi , và . ∑ i = 1 , K X i >0 p K + 1 → p ′ K + 1 p ′ K + 1 < p K + ${X_i}$$\sum_{i=1,K}{X_i} > 0$$p_{K+1} \to p'_{K+1}$$p'_{K+1} < p_{K+1}$

(2) Để sử dụng MLE, chúng ta cần mô hình ít nghi vấn nhất. Đây là một biến thể:

∑ i = 1 , k X i = 0 P { X 1 , . . . , X k , X k + 1 , . . . , X $P\{X_1,...,X_k\}= (1-p_1) ... (1-p_k)$ nếu cho mọi k nếu và và cho mọi k.$\sum_{i=1,k}{X_i} = 0$∑ i = 1 , k - 1 X i = 0 X k = 1 P ′ { X k + 1 = 1 , X k + 2 = 1 $P\{X_1,...,X_k,X_{k+1},...,X_N\}= (1-p_1) ... p_k P'\{X_{k+1},...,X_N\}$$\sum_{i=1,k-1}{X_i} = 0$$X_k = 1$$P'\{X_{k+1}=1,X_{k+2}=1,...,X_N=1\} \le p_{k+1} p_{k+2} ... p_N$

(3) Vì chúng tôi chỉ quan tâm đến chúng tôi có thể đặt (xác suất thành công cho N- (k + 1) +1 triệu hồi từ đuôi). Và sử dụng tham số$P\{S\}$Σ i = k + 1 , N X i P " { Σ i = k $P'\{X_{k+1},...,X_N\} \approx P''\{\sum_{i=1,k}{X_i}=s' ; N-(k+1)+1=l\}$$\sum_{i=k+1,N}{X_i}$$P''\{\sum_{i=k,N}{X_i}=s' ; N-k+1=l\}= p_{s',l}$

(4) Sử dụng MLE cho mô hình dựa trên các tham số và với cho (và bất kỳ ) và một số ràng buộc riêng khác .p 0 , 1 , p 1 , 1 ; p 0 , 2 , p 1 , 2 , p 2 , 2 ; . . . p s ' , l = 0 s ' ≥ 6 $p_1,...,p_N$$p_{0,1}, p_{1,1}; p_{0,2}, p_{1,2}, p_{2,2};...$$p_{s',l}=0$$s' \ge 6$$l$

Mọi thứ có ổn với kế hoạch này không?

CẬP NHẬT 2

Một số ví dụ về phân phối theo kinh nghiệm (màu đỏ) so với phân phối Poisson (màu xanh) (phương tiện poisson là 2,22 và 2,45, kích thước mẫu là 332 và 259):$P\{S\}$

Đối với các mẫu (A1, A2) với poisson có nghĩa là 2,28 và 2,51 (cỡ mẫu là 303 và 249):

Đối với samlpe A1 + A2 đã tham gia (cỡ mẫu là 552):

Có vẻ như một số chỉnh sửa cho Poisson nên là mô hình tốt nhất :).

Một cách tiếp cận sẽ là mô hình hóa các với mô hình tuyến tính tổng quát (GLM). Ở đây, bạn sẽ xây dựng , xác suất thành công trong thử nghiệm thứ là một hàm (tuyến tính logistic) của lịch sử quan sát gần đây. Vì vậy, về cơ bản, bạn đang lắp GLM tự động, trong đó tiếng ồn là Bernoulli và chức năng liên kết là logit. Các thiết lập là:$X$$p_i$$i$

$p_i = f(b + a_1 X_{i-1} + a_2 X_{i-2} + \ldots a_k X_{i-k})$ , trong đó

$f(x) = \frac{1}{1+\exp(x)}$ , và

$X_i \sim Bernoulli(p_i)$

Các tham số của mô hình là , có thể được ước tính bằng hồi quy logistic. (Tất cả những gì bạn phải làm là thiết lập ma trận thiết kế của mình bằng cách sử dụng phần lịch sử quan sát có liên quan tại mỗi thử nghiệm và chuyển nó vào hàm ước lượng hồi quy logistic; Nếu kết quả thực sự độc lập thì 's sẽ được đặt thành 0; tích cực của có nghĩa là sự gia tăng của tiếp theo mỗi khi quan sát thấy thành công.một tôi một i p $\{b, a_1, \ldots a_k\}$$a_i$$a_i$$p_i$

Mô hình không cung cấp biểu thức đơn giản cho xác suất so với tổng của , nhưng điều này dễ dàng tính toán bằng mô phỏng (lọc hạt hoặc MCMC) do mô hình có cấu trúc Markovian đơn giản.$X_i$

Loại mô hình này đã được sử dụng rất thành công để mô hình hóa sự phụ thuộc tạm thời giữa các "gai" của các nơ-ron trong não và có một tài liệu mở rộng về các mô hình quá trình điểm tự phát. Xem, ví dụ, Truccolo et al 2005 (mặc dù bài báo này sử dụng Poisson thay vì khả năng Bernoulli, nhưng việc ánh xạ từ cái này sang cái khác rất đơn giản).

Nếu sự phụ thuộc là do vón cục, một mô hình Poisson ghép có thể là giải pháp như một mô hình của . Một tài liệu tham khảo hơi ngẫu nhiên là tài liệu này của Barbour và Chryssaphinou.$S_j$

Theo một hướng hoàn toàn khác, vì bạn chỉ ra rằng là 20, và do đó tương đối nhỏ, có thể là để xây dựng một mô hình đồ họa của , nhưng tôi không biết liệu thiết lập và dữ liệu của bạn có khả thi hay không. Theo nhận xét của @chl, sẽ rất hữu ích nếu bạn mô tả là gì.X i j X i , $N$$X_{ij}$$X_{i,j}$

Nếu đại diện cho các phép đo liên tiếp, ví dụ theo thời gian và sự phụ thuộc có liên quan đến điều này, thì khả năng thứ ba - và một số mở rộng một sự thỏa hiệp giữa hai gợi ý ở trên - là sử dụng mô hình Markov ẩn của các . X i , $X_{i,j}$$X_{i,j}$