Tại sao giá trị trung bình số học nhỏ hơn trung bình phân phối trong phân phối log-log thông thường?

Vì vậy, tôi có một quá trình ngẫu nhiên tạo ra các biến ngẫu nhiên được phân phối thông thường . Đây là hàm mật độ xác suất tương ứng: $X$

Tôi muốn ước tính phân phối của một vài khoảnh khắc của phân phối ban đầu đó, giả sử khoảnh khắc thứ nhất: trung bình số học. Để làm như vậy, tôi đã rút ra 100 biến ngẫu nhiên 10000 lần để tôi có thể tính toán 10000 ước tính trung bình số học.

Có hai cách khác nhau để ước tính ý nghĩa đó (ít nhất, đó là điều tôi hiểu: tôi có thể sai):

bằng cách tính đơn giản số học có nghĩa là cách thông thường: $\bar{X} = = Σ_{Tôi = = 1}^{N} \frac{X_{Tôi}}{N} .$ $\bar{X} = \sum_{i=1}^N \frac{X_i}{N}.$
hoặc bằng cách ước tính đầu tiên và từ phân phối bình thường cơ bản: và sau đó có nghĩa là $\sigma$ $\mu$ $μ = = Σ_{Tôi = = 1}^{N} \frac{đăng nhập (X_{Tôi})}{N} σ^{2} = = Σ_{Tôi = = 1}^{N} \frac{{(đăng nhập (X_{Tôi}) - μ)}^{2}}{N}$ $\mu = \sum_{i=1}^N \frac{\log (X_i)}{N} \quad \sigma^2 = \sum_{i=1}^N \frac{\left(\log (X_i) - \mu\right)^2}{N}$ $\bar{X} = = điểm kinh nghiệm (μ + \frac{1}{2} σ^{2}) .$ $\bar{X} = \exp(\mu + \frac{1}{2}\sigma^2).$

Vấn đề là các phân phối tương ứng với từng ước tính này khác nhau một cách có hệ thống:

Giá trị trung bình "đơn giản" (được biểu thị dưới dạng đường đứt nét màu đỏ) cung cấp các giá trị thường thấp hơn giá trị xuất phát từ dạng hàm mũ (đường thẳng màu lục). Mặc dù cả hai phương tiện đều được tính toán trên cùng một bộ dữ liệu. Xin lưu ý rằng sự khác biệt này là có hệ thống.

Tại sao các phân phối này không bằng nhau?

— John
nguồn

thông số thực sự của bạn cho và gì?

μ

$\mu$

σ

$\sigma$

— Christoph Hanck

μ = 3

$\mu = 3$ và , nhưng xin lưu ý rằng tôi quan tâm đến việc ước tính các tham số này, do đó phương pháp Monte-Carlo thay vì tính toán điều từ các số liệu thô này.

σ = 1.5

$\sigma = 1.5$

— JohnW

chắc chắn, đây là để nhân rộng kết quả của bạn.

— Christoph Hanck

Thật thú vị, hiện tượng này không liên quan gì đến lognormality. Cho các số dương với logarit , người ta biết rõ trung bình số học của chúng (AM) không bao giờ nhỏ hơn trung bình hình học (GM) . Theo hướng khác, AM không bao giờ lớn hơn GM nhân với trong đó là phương sai của . Do đó, đường cong màu đỏ chấm phải nằm ở bên trái của đường cong màu xanh lá cây cho bất kỳ phân phối cha mẹ nào (mô tả các số ngẫu nhiên dương).

x_{i}

$x_i$

y_{i}

$y_i$

\sum x_{i} / n

$\sum x_i/n$

\exp (\sum y_{i} / n)

$\exp(\sum y_i/n)$

\exp (s_{y}^{2} / 2)

$\exp(s_y^2/2)$

s_{y}^{2}

$s_y^2$

y_{i}

$y_i$

— whuber

Nếu phần lớn giá trị trung bình xuất phát từ xác suất rất nhỏ của số lượng lớn, trung bình số học mẫu hữu hạn có thể đánh giá thấp trung bình dân số với xác suất cao. (Theo dự đoán, nó không thiên vị, nhưng có xác suất lớn về đánh giá thấp và xác suất nhỏ so với ước tính lớn.) Câu hỏi này cũng có thể liên quan đến câu hỏi này: stats.stackexchange.com/questions/214733/ tựa

— Matthew Gunn

Hai công cụ ước tính mà bạn đang so sánh là phương pháp ước tính khoảnh khắc (1.) và MLE (2.), xem tại đây . Cả hai đều nhất quán (vì vậy đối với lớn , chúng theo một nghĩa nào đó có khả năng gần với giá trị thực ). $N$ $\exp[\mu+1/2\sigma^2]$

Đối với công cụ ước tính MM, đây là hệ quả trực tiếp của Định luật số lượng lớn, nói rằng . Đối với MLE, định lý ánh xạ liên tục ngụ ý rằng như và . $\bar X\to_pE(X_i)$

điểm kinh nghiệm [\hat{μ} + 1 / 2 {\hat{σ}}^{2}] \to_{p} điểm kinh nghiệm [μ + 1 / 2 σ^{2}],

$\exp[\hat\mu+1/2\hat\sigma^2]\to_p\exp[\mu+1/2\sigma^2],$

\hat{μ} \to_{p} μ

$\hat\mu\to_p\mu$

{\hat{σ}}^{2} \to_{p} σ^{2}

$\hat\sigma^2\to_p\sigma^2$

MLE, tuy nhiên, không thiên vị.

Trên thực tế, bất đẳng thức của Jensen cho chúng ta biết rằng, đối với nhỏ, MLE dự kiến sẽ bị sai lệch lên trên (xem thêm phần mô phỏng bên dưới): và là (trong trường hợp sau, gần như , nhưng với độ lệch không đáng kể cho , vì công cụ ước lượng không thiên vị chia cho ) được biết đến là công cụ ước tính không thiên vị của các tham số của phân phối bình thường và (Tôi sử dụng mũ để biểu thị công cụ ước tính). $N$ $\hat\mu$ $\hat\sigma^2$ $N=100$ $N-1$ $\mu$ $\sigma^2$

Do đó, . Vì hàm mũ là hàm lồi, điều này hàm ý rằng $E(\hat\mu+1/2\hat\sigma^2)\approx\mu+1/2\sigma^2$

E [điểm kinh nghiệm (\hat{μ} + 1 / 2 {\hat{σ}}^{2})] > điểm kinh nghiệm [E (\hat{μ} + 1 / 2 {\hat{σ}}^{2})] \approx điểm kinh nghiệm [μ + 1 / 2 σ^{2}]

$E[\exp(\hat\mu+1/2\hat\sigma^2)]>\exp[E(\hat\mu+1/2\hat\sigma^2)]\approx \exp[\mu+1/2\sigma^2]$

Hãy thử tăng lên một số lớn hơn, điều này sẽ tập trung vào cả hai phân phối xung quanh giá trị thực. $N=100$

Xem hình minh họa Monte Carlo này với in R: $N=1000$

Được tạo nên bởi:

N <- 1000
reps <- 10000

mu <- 3
sigma <- 1.5
mm <- mle <- rep(NA,reps)

for (i in 1:reps){
  X <- rlnorm(N, meanlog = mu, sdlog = sigma)
  mm[i] <- mean(X)

  normmean <- mean(log(X))
  normvar <- (N-1)/N*var(log(X))
  mle[i] <- exp(normmean+normvar/2)
}
plot(density(mm),col="green",lwd=2)
truemean <- exp(mu+1/2*sigma^2)
abline(v=truemean,lty=2)
lines(density(mle),col="red",lwd=2,lty=2)

> truemean
[1] 61.86781

> mean(mm)
[1] 61.97504

> mean(mle)
[1] 61.98256

Chúng tôi lưu ý rằng mặc dù cả hai bản phân phối hiện tại (ít nhiều) tập trung vào giá trị thực , MLE, như thường lệ, là hiệu quả hơn. $\exp(\mu+\sigma^2/2)$

Người ta thực sự có thể chỉ ra một cách rõ ràng rằng điều này phải như vậy bằng cách so sánh các phương sai tiệm cận. Câu trả lời CV rất hay này cho chúng ta biết rằng phương sai tiệm cận của MLE là trong khi đó là công cụ ước tính MM, bởi một ứng dụng trực tiếp của CLT được áp dụng cho các giá trị trung bình mẫu là phương sai của phân phối log-normal, Cái thứ hai lớn hơn cái thứ nhất vì dưới dạngvà .

V_{t} = = (σ^{2} + σ^{4} / 2) \cdot điểm kinh nghiệm {2 (μ + \frac{1}{2} σ^{2})},

$V_t = (\sigma^2 + \sigma^4/2)\cdot \exp\left\{2(\mu + \frac 12\sigma^2)\right\},$

điểm kinh nghiệm {2 (μ + \frac{1}{2} σ^{2})} (điểm kinh nghiệm {σ^{2}} - 1)

$\exp\left\{2(\mu + \frac 12\sigma^2)\right\}(\exp\{\sigma^2\}-1)$

điểm kinh nghiệm {σ^{2}} > 1 + σ^{2} + σ^{4} / 2,

$\exp\{\sigma^2\}>1+\sigma^2 + \sigma^4/2,$

\exp (x) = \sum_{i = 0}^{\infty} x^{i} / i!

$\exp(x)=\sum_{i=0}^\infty x^i/i!$

σ^{2} > 0

$\sigma^2>0$

Để thấy rằng MLE thực sự thiên vị cho nhỏ , tôi lặp lại mô phỏng cho và 50.000 lần lặp lại và thu được độ lệch mô phỏng như sau: $N$ N <- c(50,100,200,500,1000,2000,3000,5000)

Chúng tôi thấy rằng MLE thực sự thiên vị nghiêm trọng cho nhỏ . Tôi là một chút ngạc nhiên về hành vi hơi thất thường của sự thiên vị của các ước lượng MM là một hàm của . Xu hướng mô phỏng cho nhỏ đối với MM có thể do các ngoại lệ ảnh hưởng đến công cụ ước tính MM không đăng nhập nhiều hơn MLE. Trong một lần chạy mô phỏng, ước tính lớn nhất hóa ra là $N$ $N$ $N=50$

> tail(sort(mm))
[1] 336.7619 356.6176 369.3869 385.8879 413.1249 784.6867
> tail(sort(mle))
[1] 187.7215 205.1379 216.0167 222.8078 229.6142 259.8727

— Christoph Hanck
nguồn

À được rồi. Nó thực sự không xảy ra với tôi rằng một phương pháp có thể hiệu quả hơn phương pháp khác được cung cấp cùng một dữ liệu. Vì vậy, tôi có thể nói rằng giải pháp MLE hội tụ nhanh hơn đối với so với phương pháp khác nếu tôi hiểu đúng. Cảm ơn!

N

$N$

— JohnW

Tôi đã thực hiện một chỉnh sửa nhỏ về sự thiên vị. Đối với xu hướng thực sự là tiêu cực đối với các ước lượng MM, nhưng điều đó không có vẻ như một kết quả tổng quát, xem cốt truyện cho thiên vị như một chức năng của .

N = 100

$N=100$

N

$N$

— Christoph Hanck

Chà, tôi cũng ngạc nhiên khi có sự khác biệt lớn như vậy giữa hai phương pháp, tuy nhiên ví dụ này hoàn toàn hoàn hảo để chứng minh tại sao "chỉ là công cụ trung bình" có thể là khủng khiếp!

— JohnW

@ John, tôi đã thêm một chút giải thích phân tích về lý do tại sao MLE có phương sai nhỏ hơn.

— Christoph Hanck

N

$N$

N \to \infty

$N\to\infty$