Làm thế nào để tìm ước tính khả năng tối đa của một tham số nguyên?

Câu hỏi CTNH :

$x_1,x_2,\ldots,x_n$ là các biến Gaussian độc lập với trung bình và variance . Xác định trong đó không xác định. Chúng tôi quan tâm đến việc ước tính từ .$\mu$$\sigma^2$$y = \sum_{n=1}^{N} x_n$$N$$N$$y$

a. Cho xác định độ lệch và phương sai của nó.$\hat N_1 = y/\mu$

b. Cho xác định độ lệch và phương sai của nó.$\hat N_2 = y^2/\sigma^2$

Bỏ qua yêu cầu cho là một số nguyên$N$

c. Có một công cụ ước tính hiệu quả (nhìn vào cả và ) không?$\mu = 0$$\mu \ne 0$

d. Tìm ước tính khả năng tối đa của từ .$N$$y$

e. Tìm CRLB của từ .$N$$y$

f. Có phải lỗi bình phương trung bình của các công cụ ước tính đạt CRLB khi không?$\hat N_1,\hat N_2$$N\to \infty$

Nếu bất cứ ai có thể hướng tôi đến giải pháp của vấn đề sau đây thì thật tuyệt.

Cảm ơn,

Nadav

Bạn đã bắt đầu tốt bằng cách viết ra một biểu thức cho khả năng. Nó đơn giản hơn để nhận ra rằng$Y,$ là tổng của $N$ độc lập bình thường$(\mu,\sigma^2)$ các biến, có phân phối chuẩn với trung bình $N\mu$ và phương sai $N\sigma^2,$ khả năng của nó là

$$\mathcal{L}(y,N) = \frac{1}{\sqrt{2\pi N\sigma^2}} \exp\left(-\frac{(y-N\mu)^2}{2N\sigma^2}\right).$$

Hãy làm việc với logarit tiêu cực của nó $\Lambda = -\log \mathcal{L},$ có cực tiểu tương ứng với cực đại của khả năng:

$$2\Lambda(N) = \log(2\pi) + \log(\sigma^2) + \log(N) + \frac{(y-N\mu)^2}{N\sigma^2}.$$

Chúng ta cần tìm tất cả các số làm giảm thiểu biểu thức này. Giả vờ một lúc mà$N$có thể là bất kỳ số thực dương. Như vậy,$2\Lambda$ là một chức năng khác biệt liên tục của $N$ với đạo hàm

$$\frac{d}{dN} 2\Lambda(N) = \frac{1}{N} - \frac{(y-N\mu)^2}{\sigma^2N^2} - \frac{2\mu(y-N\mu)}{N\sigma^2}.$$

Đánh số này bằng 0 để tìm các điểm tới hạn, xóa mẫu số và làm một số đại số để đơn giản hóa kết quả, cho

$$\mu^2 N^2 + \sigma^2 N -y^2 = 0\tag{1}$$

với một giải pháp tích cực duy nhất (khi $\mu\ne 0$)

$$\hat N = \frac{1}{2\mu^2}\left(-\sigma^2 + \sqrt{\sigma^4 + 4\mu^2 y^2}\right).$$

Thật đơn giản để kiểm tra xem $N$ cách tiếp cận $0$ hoặc lớn lên, $2\Lambda(N)$ phát triển lớn, vì vậy chúng tôi biết không có tối thiểu toàn cầu gần $N\approx 0$ cũng không gần $N\approx \infty.$ Điều đó chỉ để lại một điểm quan trọng mà chúng tôi tìm thấy, do đó phải là mức tối thiểu toàn cầu. Hơn thế nữa,$2\Lambda$ phải giảm như $\hat N$được tiếp cận từ bên dưới hoặc bên trên. Như vậy

Cực tiểu toàn cầu của $\Lambda$ phải nằm trong số hai số nguyên ở hai bên của $\hat N.$

Điều này đưa ra một quy trình hiệu quả để tìm công cụ ước tính Khả năng tối đa: đó là sàn hoặc trần của$\hat N$(hoặc, đôi khi, cả hai !), nên tính toán$\hat N$ và chỉ cần chọn số nguyên nào trong số này $2\Lambda$ nhỏ nhất

Hãy tạm dừng để kiểm tra xem kết quả này có ý nghĩa không. Trong hai tình huống có một giải pháp trực quan:

1. Khi nào $\mu$ lớn hơn nhiều $\sigma$, $Y$ sẽ gần $\mu,$ từ đâu ước tính $N$ đơn giản là $|Y/\mu|.$ Trong những trường hợp như vậy, chúng tôi có thể ước chừng MLE bằng cách bỏ qua $\sigma^2,$ cho (như mong đợi)

   $$\hat N = \frac{1}{2\mu^2}\left(-\sigma^2 + \sqrt{\sigma^4 + 4\mu^2 y^2}\right) \approx \frac{1}{2\mu^2}\sqrt{4\mu^2 y^2} = \left|\frac{y}{\mu}\right|.$$

2. Khi nào $\sigma$ lớn hơn nhiều $\mu,$ $Y$có thể được lan truyền khắp nơi, nhưng trung bình $Y^2$ nên gần $\sigma^2,$ ước tính trực quan của $N$ đơn giản là $y^2/\sigma^2.$ Thật vậy, bỏ bê $\mu$ trong phương trình $(1)$ đưa ra giải pháp mong đợi

   $$\hat N \approx \frac{y^2}{\sigma^2}.$$

Trong cả hai trường hợp, MLE phù hợp với trực giác, cho thấy chúng ta có thể đã giải quyết nó một cách chính xác. Các tình huống thú vị , sau đó, xảy ra khi$\mu$ và $\sigma$có kích thước tương đương. Trực giác có thể giúp đỡ rất ít ở đây.

---

Để khám phá điều này hơn nữa, tôi đã mô phỏng ba tình huống trong đó$\sigma/\mu$ Là $1/3,$ $1,$ hoặc là $3.$ Nó không quan trọng $\mu$ là (miễn là nó khác không), vì vậy tôi đã lấy $\mu=1.$ Trong mỗi tình huống tôi tạo ra một cách ngẫu nhiên $Y$ cho các trường hợp $N=2,4,8,16,$ làm điều này một cách độc lập năm ngàn lần.

Những biểu đồ này tóm tắt các MLE của $N$. Các đường thẳng đứng đánh dấu các giá trị thực của$N$.

Trung bình, MLE dường như là đúng. Khi nào$\sigma$là tương đối nhỏ, MLE có xu hướng chính xác: đó là những gì biểu đồ hẹp ở hàng trên cùng chỉ ra. Khi nào$\sigma \approx |\mu|,$MLE không chắc chắn. Khi nào$\sigma \gg |\mu|,$ MLE thường có thể là $\hat N=1$ và đôi khi có thể vài lần $N$ (đặc biệt là khi $N$nhỏ). Những quan sát này phù hợp với những gì đã được dự đoán trong phân tích trực quan trước đó.

---

Chìa khóa để mô phỏng là thực hiện MLE. Nó đòi hỏi phải giải quyết$(1)$ cũng như đánh giá $\Lambda$ cho các giá trị đã cho $Y,$ $\mu,$ và $\sigma.$ Ý tưởng mới duy nhất được phản ánh ở đây là kiểm tra các số nguyên ở hai bên của $\hat N.$ Hai dòng cuối cùng của hàm fthực hiện phép tính này, với sự giúp đỡ của lambdaviệc đánh giá khả năng đăng nhập.

lambda <- Vectorize(function(y, N, mu, sigma) {
  (log(N) + (y-mu*N)^2 / (N * sigma^2))/2
}, "N") # The negative log likelihood (without additive constant terms)

f <- function(y, mu, sigma) {
  if (mu==0) {
    N.hat <- y^2 / sigma^2
  } else {
    N.hat <- (sqrt(sigma^4 + 4*mu^2*y^2) - sigma^2) / (2*mu^2)
  }
  N.hat <- c(floor(N.hat), ceiling(N.hat))
  q <- lambda(y, N.hat, mu, sigma)
  N.hat[which.min(q)]
} # The ML estimator

Phương thức whuber đã sử dụng trong câu trả lời xuất sắc của mình là một "mẹo" tối ưu hóa phổ biến liên quan đến việc mở rộng hàm khả năng để cho phép các giá trị thực của$N$và sau đó sử dụng tính đồng nhất của khả năng ghi nhật ký để chỉ ra rằng giá trị tối đa hóa rời rạc là một trong những giá trị riêng biệt ở hai bên của một tối ưu liên tục. Đây là một phương pháp thường được sử dụng trong các vấn đề MLE rời rạc liên quan đến chức năng khả năng đăng nhập lõm. Giá trị của nó nằm ở thực tế là thường có thể có được biểu thức dạng đóng đơn giản cho tối ưu liên tục.

Để đầy đủ, trong câu trả lời này tôi sẽ chỉ cho bạn một phương pháp thay thế, sử dụng phép tính rời rạc bằng cách sử dụng toán tử chênh lệch chuyển tiếp . Hàm khả năng đăng nhập cho vấn đề này là hàm rời rạc:

$$\ell_y(N) = -\frac{1}{2} \Bigg[ \ln (2 \pi) + \ln (\sigma^2) + \ln (N) + \frac{(y-N\mu)^2}{N\sigma^2} \Bigg] \quad \quad \quad \text{for } N \in \mathbb{N}.$$

Sự khác biệt chuyển tiếp đầu tiên của khả năng đăng nhập là:

$$\begin{equation} \begin{aligned} \Delta \ell_y(N) &= -\frac{1}{2} \Bigg[ \ln (N+1) - \ln (N) + \frac{(y-N\mu - \mu)^2}{(N+1)\sigma^2} - \frac{(y-N\mu)^2}{N\sigma^2} \Bigg] \\[6pt] &= -\frac{1}{2} \Bigg[ \ln \Big( \frac{N+1}{N} \Big) + \frac{N(y-N\mu - \mu)^2 - (N+1)(y-N\mu)^2}{N(N+1)\sigma^2} \Bigg] \\[6pt] &= -\frac{1}{2} \Bigg[ \ln \Big( \frac{N+1}{N} \Big) + \frac{[N(y-N\mu)^2 -2N(y-N\mu) \mu + N \mu^2] - [N(y-N\mu)^2 + (y-N\mu)^2]}{N(N+1)\sigma^2} \Bigg] \\[6pt] &= -\frac{1}{2} \Bigg[ \ln \Big( \frac{N+1}{N} \Big) - \frac{(y + N \mu)(y-N\mu) - N \mu^2}{N(N+1)\sigma^2} \Bigg]. \\[6pt] \end{aligned} \end{equation}$$

Với một chút đại số, sự khác biệt về phía trước thứ hai có thể được hiển thị là:

$$\begin{equation} \begin{aligned} \Delta^2 \ell_y(N) &= -\frac{1}{2} \Bigg[ \ln \Big( \frac{N+2}{N} \Big) + \frac{2 N (N+1) \mu^2 + 2(y + N \mu)(y-N\mu)}{N(N+1)(N+2)\sigma^2} \Bigg] < 0. \\[6pt] \end{aligned} \end{equation}$$

Điều này cho thấy hàm khả năng đăng nhập là lõm, vì vậy điểm tối đa hóa nhỏ nhất của nó $\hat{N}$ sẽ là:

$$\begin{equation} \begin{aligned} \hat{N} &= \min \{ N \in \mathbb{N} | \Delta \ell_y(N) \leqslant 0 \} \\[6pt] &= \min \Big\{ N \in \mathbb{N} \Big| \ln \Big( \frac{N+1}{N} \Big) \geqslant \frac{(y + N \mu)(y-N\mu) - N \mu^2}{N(N+1)\sigma^2} \Big\}. \end{aligned} \end{equation}$$

(Giá trị tiếp theo cũng sẽ là điểm tối đa hóa khi và chỉ khi $\Delta \ell_y(\hat{N}) = 0$.) MLE (nhỏ nhất hoặc toàn bộ) có thể được lập trình như một hàm thông qua một whilevòng lặp đơn giản và điều này sẽ có thể cung cấp cho bạn giải pháp khá nhanh. Tôi sẽ rời khỏi phần lập trình như một bài tập.

Nhận xét: Đây là một mô phỏng ngắn gọn trong R cho$\mu = 50, \sigma = 3,$ phải chính xác đến 2 hoặc ba nơi, xấp xỉ giá trị trung bình và SD của $Y.$ Bạn sẽ có thể tìm thấy $E(Y)$ và $Var(Y)$ bằng các phương pháp phân tích cơ bản như đã nêu trong Nhận xét trước đó của tôi. Nếu chúng ta có$N = 100$ sau đó $E(\hat N)$ dường như không thiên vị cho $N.$

N = 100;  mu = 50;  sg = 3
y = replicate( 10^6, sum(rnorm(N, mu, sg))/mu )
mean(y);  sd(y)
[1] 99.99997
[1] 0.6001208
N.est = round(y);  mean(N.est);  sd(N.est)
[1] 99.9998
[1] 0.6649131