Chuyển từ mô hình hóa một quy trình bằng cách sử dụng phân phối Poisson để sử dụng phân phối nhị thức âm?

$\newcommand{\P}{\mathbb{P}}$ Chúng tôi có một quy trình ngẫu nhiên có thể hoặc không thể xảy ra nhiều lần trong một khoảng thời gian . Chúng tôi có nguồn cấp dữ liệu từ một mô hình có sẵn của quy trình này, cung cấp xác suất của một số sự kiện xảy ra trong khoảng thời gian . Mô hình hiện có này đã cũ và chúng tôi cần chạy kiểm tra trực tiếp trên dữ liệu nguồn cấp dữ liệu cho các lỗi ước tính. Mô hình cũ sản xuất các dữ liệu thức ăn chăn nuôi (được cung cấp khả năng các sự kiện xảy ra trong thời gian còn lại ) được xấp xỉ Poisson Distributed.$T$$0 \leq t < T$$n$$t$

Vì vậy, để kiểm tra xem có bất thường / lỗi, chúng ta để cho $t$ là thời gian còn lại và $X_t$ là tổng số sự kiện xảy ra trong thời gian còn lại $t$ . Mô hình cũ ngụ ý các ước tính $\P(X_t \leq c)$ . Vì vậy, theo giả định của chúng tôi $X_t\sim \operatorname{Poisson}(\lambda_{t})$ chúng tôi có:

$$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$$ Để lấy tỷ lệ sự kiện của chúng tôi $\lambda_t$ từ đầu ra của mô hình cũ (quan sát $y_{t}$ ), chúng tôi sử dụng cách tiếp cận không gian trạng thái và mô hình hóa mối quan hệ trạng thái như: $$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$$ Chúng tôi lọc các quan sát từ mô hình cũ, sử dụng mô hình không gian trạng thái [phân rã tốc độ không đổi] để tiến hóa $\lambda_t$ để thu được trạng thái được lọc $E(\lambda_t|Y_t)$ và đánh dấu sự bất thường / lỗi trong tần số sự kiện ước tính từ dữ liệu nguồn cấp dữ liệu nếu $E(\lambda_t|Y_t) < y_t$ .

Cách tiếp cận này hoạt động rất tốt trong việc thu thập các lỗi trong sự kiện ước tính được tính trong toàn bộ thời gian $T$ , nhưng không tốt lắm nếu chúng ta muốn làm điều tương tự trong khoảng thời gian khác $0 \leq t < \sigma$ trong đó $\sigma < \frac{2}{3} T$ . Để giải quyết vấn đề này, chúng tôi đã quyết định bây giờ chúng tôi muốn chuyển sang sử dụng phân phối nhị thức âm để bây giờ giả sử $X_t\sim NB(r, p)$ và chúng tôi có:

$$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$$ trong đó tham số $\lambda$ hiện được thay thế bởi $r$ và $p$. Điều này nên đơn giản để thực hiện, nhưng tôi gặp một số khó khăn trong việc giải thích và do đó tôi có một số câu hỏi tôi muốn bạn giúp đỡ:

1. Chúng ta có thể chỉ đặt $p = \lambda$ trong phân phối nhị thức âm không? Nếu không, tai sao không?

2. Giả sử chúng ta có thể đặt $p = f(\lambda)$ trong đó $f$ là một số hàm, làm thế nào chúng ta có thể đặt r chính xác $r$(chúng ta có cần điều chỉnh $r$ bằng cách sử dụng các tập dữ liệu trong quá khứ) không?

3. Có phải $r$ phụ thuộc vào số lượng sự kiện chúng ta dự kiến ​​sẽ xảy ra trong một quy trình nhất định không?

---

Phụ lục trích xuất ước tính cho $r$ (và $p$ ):

Tôi biết rằng nếu trên thực tế chúng tôi có vấn đề này được đảo ngược và chúng tôi có số lượng sự kiện cho mỗi quy trình, chúng tôi có thể áp dụng công cụ ước tính khả năng tối đa cho và . Tất nhiên, công cụ ước tính khả năng tối đa chỉ tồn tại đối với các mẫu có phương sai mẫu lớn hơn giá trị trung bình mẫu, nhưng nếu đây là trường hợp chúng ta có thể đặt hàm khả năng cho các quan sát phân phối nhận độc lập as: từ đó chúng ta có thể viết hàm khả năng đăng nhập là: p N k 1 , k 2 , ... , k N L ( r , p ) = N Π i = 1 P ( k i ; r , p ) , l ( r , p ) = N Σ i = 1 ln ( Γ ( k i + r ) ) - = 1$r$$p$$N$$k_1, k_2, \ldots, k_{N}$

$$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$$ r p ∂ r l ( r , p $$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$$ Để tìm mức tối đa, chúng tôi lấy các đạo hàm riêng đối với và và đặt chúng bằng 0: Cài đặt và đặt chúng tôi tìm thấy: $r$$p$∂rl(r,p)=∂pl(r,p)=0p= N ∑ i = 1 k $$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$$ $\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$$p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$ $$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$$ Phương trình này không thể được giải cho r ở dạng đóng bằng Newton hoặc thậm chí EM. Tuy nhiên, đây không phải là trường hợp trong tình huống này. Mặc dù chúng tôi có thể sử dụng dữ liệu trong quá khứ để có được một và nhưng điều này thực sự không được sử dụng như quy trình của chúng tôi, chúng tôi cần điều chỉnh các tham số này kịp thời, giống như chúng tôi đã sử dụng Poisson. $r$$p$

Phân phối nhị thức âm rất giống với mô hình xác suất nhị thức. nó được áp dụng khi các giả định (điều kiện) sau đây giữ tốt 1) Bất kỳ thử nghiệm nào được thực hiện trong cùng điều kiện cho đến khi đạt được số lần thành công cố định, như C, đạt được 2) Kết quả của mỗi thử nghiệm có thể được phân loại thành một trong hai loại , thành công hay thất bại 3) Xác suất P thành công là như nhau đối với mỗi thí nghiệm 40 Thử nghiệm độc lập với tất cả các thí nghiệm khác. Điều kiện đầu tiên là yếu tố khác biệt duy nhất giữa nhị thức nhị thức và nhị thức âm

Phân phối poisson có thể là một xấp xỉ hợp lý của nhị thức trong các điều kiện nhất định như 1) Xác suất thành công cho mỗi thử nghiệm là rất nhỏ. P -> 0 2) np = m (nói) là hoàn thiện Quy tắc thường được sử dụng bởi các nhà thống kê là poisson là một xấp xỉ tốt của nhị thức khi n bằng hoặc lớn hơn 20 và p bằng hoặc nhỏ hơn 5 %