Tên của phương pháp ước tính mật độ trong đó tất cả các cặp có thể được sử dụng để tạo phân phối hỗn hợp Bình thường là gì?

Tôi chỉ nghĩ về một cách gọn gàng (không nhất thiết phải tốt) để tạo ước tính mật độ một chiều và câu hỏi của tôi là:

Liệu phương pháp ước tính mật độ này có một tên? Nếu không, nó có phải là trường hợp đặc biệt của một số phương pháp khác trong tài liệu không?

Đây là phương pháp: Ta có vectơ $X = [x_1,x_2,...,x_n]$ mà chúng tôi giả sử được rút ra từ một số phân phối chưa biết mà chúng tôi muốn ước tính. Một cách để làm điều này là lấy tất cả các cặp giá trị có thể có trong $X$ và cho mỗi cặp $[x_i,x_j]_{i \neq j}$ phù hợp với phân phối Bình thường sử dụng khả năng tối đa. Ước tính mật độ kết quả là phân phối hỗn hợp bao gồm tất cả các Chỉ tiêu kết quả, trong đó mỗi Bình thường được cho trọng số bằng nhau.

Hình dưới đây minh họa bằng phương pháp này trên vectơ . Ở đây các vòng tròn là các điểm dữ liệu, các Normals màu là phân phối khả năng tối đa được ước tính bằng cách sử dụng từng cặp có thể và đường màu đen dày cho thấy ước tính mật độ kết quả (nghĩa là phân phối hỗn hợp).$[-1.3,0.15,0.73,1.4]$

Nhân tiện, thật dễ dàng để thực hiện một phương thức trong R rút ra một mẫu từ phân phối hỗn hợp kết quả:

# Generating some "data"
x <- rnorm(30)

# Drawing from the density estimate using the method described above.
density_estimate_sample <- replicate(9999, {
  pair <- sample(x, size = 2)
  rnorm(1, mean(pair), sd(pair))
})

# Plotting the density estimate compared with 
# the "data" and the "true" density.
hist(x ,xlim=c(-5, 5), main='The "data"')
hist(density_estimate_sample, xlim=c(-5, 5), main='Estimated density')
hist(rnorm(9999), xlim=c(-5, 5), main='The "true" density')

Đây là một ý tưởng hấp dẫn, bởi vì công cụ ước tính độ lệch chuẩn dường như ít nhạy cảm hơn với các ngoại lệ so với các phương pháp bình phương gốc thông thường. Tuy nhiên, tôi nghi ngờ công cụ ước tính này đã được công bố. Có ba lý do tại sao: nó không hiệu quả về mặt tính toán, nó bị sai lệch và ngay cả khi độ lệch được sửa, nó không hiệu quả về mặt thống kê (nhưng chỉ một chút). Chúng có thể được nhìn thấy với một phân tích sơ bộ nhỏ, vì vậy hãy làm điều đó trước và sau đó rút ra kết luận.

Phân tích

Các ước lượng ML của giá trị trung bình và độ lệch chuẩn $\mu$$\sigma$ dựa trên dữ liệu là$(x_i, x_j)$

$$\hat\mu(x_i,x_j) = \frac{x_i+x_j}{2}$$

và

$$\hat\sigma(x_i,x_j) = \frac{|x_i-x_j|}{2}.$$

Do đó phương pháp được mô tả trong câu hỏi là

$$\hat\mu(x_1, x_2, \ldots, x_n) = \frac{2}{n(n-1)} \sum_{i\gt j} \frac{x_i+x_j}{2} = \frac{1}{n}\sum_{i=1}^nx_i,$$

đó là công cụ ước tính thông thường của giá trị trung bình và

$$\hat\sigma(x_1, x_2, \ldots, x_n) = \frac{2}{n(n-1)}\sum_{i\gt j}\frac{|x_i-x_j|}{2} = \frac{1}{n(n-1)}\sum_{i,j}|x_i-x_j|.$$

$E = \mathbb{E}(|x_i-x_j|)$$i$$j$

$$\mathbb{E}(\hat\sigma(x_1, x_2, \ldots, x_n)) = \frac{1}{n(n-1)}\sum_{i,j}\mathbb{E}(|x_i-x_j|) = E.$$

$x_i$$x_j$$2\sigma^2$$\sqrt{2}\sigma$$\chi(1)$$\sqrt{2/\pi}$

$$E = \frac{2}{\sqrt{\pi}} \sigma.$$

Hệ số $2/\sqrt{\pi} \approx 1.128$ là thiên vị trong ước lượng này.

$\hat\sigma$ , nhưng - như chúng ta sẽ thấy - có vẻ không phải là nhiều sự quan tâm trong việc này, vì vậy tôi sẽ chỉ là ước tính nó với một mô phỏng nhanh chóng.

Kết luận

1. $\hat\sigma$$n=20,000$ cả hai công cụ ước tính sai lệch và sai lệch được vẽ trên biểu đồ. Lỗi 13% là rõ ràng.

   

2. $\sum_{i,j}|x_i-x_j|$$O(n^2)$$O(n)$$n$$10,000$ hoặc hơn. Chẳng hạn, tính toán con số trước đó cần 45 giây thời gian CPU và 8 GB RAMR. (Trên các nền tảng khác, các yêu cầu về RAM sẽ nhỏ hơn nhiều, có lẽ với chi phí nhỏ trong thời gian tính toán.)

3. Đó là thống kê không hiệu quả. Để hiển thị tốt nhất, hãy xem xét phiên bản không thiên vị và so sánh nó với phiên bản không thiên vị của công cụ ước lượng bình phương nhỏ nhất hoặc ước lượng tối đa

   $$\hat\sigma_{OLS} = \sqrt{\left(\frac{1}{n-1} \sum_{i=1}^n \left(x_i - \hat\mu\right)^2\right)} \frac{(n-1)\Gamma((n-1)/2)}{2\Gamma(n/2)}.$$

   R$n=3$$n=300$$\hat\sigma_{OLS}$$\sigma$

Sau đó

$\hat\sigma$

---

Mã

sigma <- function(x) sum(abs(outer(x, x, '-'))) / (2*choose(length(x), 2))
#
# sigma is biased.
#
y <- rnorm(1e3) # Don't exceed 2E4 or so!
mu.hat <- mean(y)
sigma.hat <- sigma(y)

hist(y, freq=FALSE,
     main="Biased (dotted red) and Unbiased (solid blue) Versions of the Estimator",
     xlab=paste("Sample size of", length(y)))
curve(dnorm(x, mu.hat, sigma.hat), col="Red", lwd=2, lty=3, add=TRUE)
curve(dnorm(x, mu.hat, sqrt(pi/4)*sigma.hat), col="Blue", lwd=2, add=TRUE)
#
# The variance of sigma is too large.
#
N <- 1e4
n <- 10
y <- matrix(rnorm(n*N), nrow=n)
sigma.hat <- apply(y, 2, sigma) * sqrt(pi/4)
sigma.ols <- apply(y, 2, sd) / (sqrt(2/(n-1)) * exp(lgamma(n/2)-lgamma((n-1)/2)))

message("Mean of unbiased estimator is ", format(mean(sigma.hat), digits=4))
message("Mean of unbiased OLS estimator is ", format(mean(sigma.ols), digits=4))
message("Variance of unbiased estimator is ", format(var(sigma.hat), digits=4))
message("Variance of unbiased OLS estimator is ", format(var(sigma.ols), digits=4))
message("Efficiency is ", format(var(sigma.ols) / var(sigma.hat), digits=4))