Làm thế nào để hiểu rằng MLE of Variance bị sai lệch trong phân phối Gaussian?

Tôi đang đọc PRML và tôi không hiểu bức tranh. Bạn có thể vui lòng đưa ra một số gợi ý để hiểu bức tranh và tại sao MLE của phương sai trong phân phối Gaussian bị sai lệch?

công thức 1,55: công thức 1.56 σ 2 M L E =

$$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$$ $$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$$

Trực giác

Xu hướng là "đến từ" (hoàn toàn không phải là thuật ngữ kỹ thuật) thực tế là được thiên vị cho . Câu hỏi tự nhiên là, "tốt, trực giác tại sao thiên vị cho "? Trực giác là trong một mẫu không bình phương, đôi khi chúng ta bỏ lỡ giá trị thực bằng cách ước tính quá mức và đôi khi bằng cách ước lượng thấp. Nhưng, không bình phương, xu hướng ước tính quá mức và ước tính dưới mức sẽ triệt tiêu lẫn nhau. Tuy nhiên, khi chúng ta bình phương , xu hướng ước tính dưới mức (bỏ lỡ giá trị thực của$E[\bar{x}^2]$$\mu^2$$E[\bar{x}^2]$$\mu^2$$\mu$$\bar{x}$$\mu$bởi một số âm) cũng được bình phương và do đó trở nên tích cực. Do đó, nó không còn hủy bỏ và có xu hướng ước tính quá mức.

Nếu trực giác đằng sau lý do tại sao bị sai lệch cho vẫn chưa rõ ràng, hãy thử tìm hiểu trực giác đằng sau sự bất bình đẳng của Jensen (giải thích trực quan tốt ở đây ) và áp dụng nó cho .$x^2$$\mu^2$$E[x^2]$

Hãy chứng minh rằng MLE của phương sai cho một mẫu iid là sai lệch. Sau đó, chúng tôi sẽ phân tích xác minh trực giác của chúng tôi.

Bằng chứng

Đặt .$\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

Chúng tôi muốn hiển thị .$E[\hat{\sigma}^2] \neq \sigma^2$

$$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$$

Sử dụng thực tế là và ,$\sum_{n = 1}^N x_n = N\bar{x}$$\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

$$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$$

Với bước cuối cùng tiếp theo do bằng nhau trên do đến từ cùng một phân phối.$E[x_n^2]$$n$

Bây giờ, hãy nhớ lại định nghĩa phương sai cho biết . Từ đây, chúng tôi nhận được những điều sau đây$\sigma^2_x = E[x^2] - E[x]^2$

$$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$$

Lưu ý rằng chúng ta đã bình phương một cách thích hợp hằng số khi lấy nó ra khỏi . Đặc biệt chú ý đến điều đó!$\frac{1}{N}$$Var()$

$$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$$

đó là, tất nhiên, không bằng để .$\sigma_x^2$

Phân tích Xác minh Trực giác của chúng tôi

Chúng ta có thể xác minh phần nào trực giác bằng cách giả sử rằng chúng ta biết giá trị của và cắm nó vào bằng chứng trên. Vì bây giờ chúng tôi biết , chúng tôi không còn cần phải ước tính và do đó chúng tôi không bao giờ ước tính quá mức với . Chúng ta hãy xem điều này "loại bỏ" sự thiên vị trong .$\mu$$\mu$$\mu^2$$E[\bar{x}^2]$$\hat{\sigma}^2$

Hãy để .$\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

Từ bằng chứng trên, hãy chọn từ thay thế bằng giá trị thực .ˉ x$E[x_n^2] - E[\bar{x}^2]$$\bar{x}$$\mu$

$$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$$

không thiên vị!