Phương sai của công cụ ước tính này là gì

Tôi muốn ước tính giá trị trung bình của hàm f, tức là trong đó và là các biến ngẫu nhiên độc lập. Tôi có các mẫu của f nhưng không phải iid: Có các mẫu iid cho và với mỗi có mẫu từ :

E_{X, Y} [f (X, Y)]

$E_{X,Y}[f(X,Y)]$

X

$X$

Y

$Y$

Y_{1}, Y_{2}, \dots Y_{n}

$Y_1,Y_2,\dots Y_n$

Y_{i}

$Y_i$

n_{i}

$n_i$

X

$X$

X_{i, 1}, X_{i, 2}, \dots, X_{i, n_{i}}

$X_{i,1},X_{i,2},\dots, X_{i,n_i}$

Vì vậy, trong tổng số tôi có các mẫu $f(X_{1,1},Y_1) \dots f(X_{1,n_1},Y_1 ) \dots f(X_{i,j},Y_i) \dots f(X_{n,n_n},Y_n)$

Để ước tính giá trị trung bình tôi tính Rõ ràng vì vậy là một công cụ ước tính không thiên vị. Bây giờ tôi đang tự hỏi là gì, tức là phương sai của công cụ ước tính.

μ = \sum_{i = 1}^{n} 1 / n * \sum_{j = 1}^{n_{i}} \frac{f (X_{i, j}, Y_{i})}{n_{i}}

$\mu=\sum_{i=1}^n 1/n * \sum_{j=1}^{n_i}\frac{ f(X_{i,j},Y_i)}{n_i}$

E_{X, Y} [μ] = E_{X, Y} [f (X, Y)]

$E_{X,Y}[\mu]=E_{X,Y}[f(X,Y)]$

μ

$\mu$

V a r (μ)

$Var(\mu)$

Chỉnh sửa 2: Đây có phải là phương sai chính xác? Nó dường như hoạt động trong giới hạn, tức là nếu n = 1 và tất cả thì phương sai chỉ trở thành phương sai của phương tiện. Và nếu thì công thức trở thành công thức chuẩn cho phương sai của các công cụ ước tính. Điều này có đúng không? Làm thế nào tôi có thể chứng minh rằng nó là?

V a r (μ) = \frac{V a r_{Y} (μ_{i})}{n} + \sum_{i = 1}^{n} \frac{V a r_{X} (f (X, Y_{i})))}{n_{i} * n^{2}}

$Var(\mu)=\frac{Var_Y(\mu_i)}{n}+\sum_{i=1}^n \frac{Var_X(f(X,Y_i)))}{n_i*n^2}$

n_{i} = \infty

$n_i=\infty$

n_{i} = 1

$n_i=1$

Chỉnh sửa (Bỏ qua điều này):

Vì vậy, tôi nghĩ rằng tôi đã đạt được một số tiến bộ: Trước tiên chúng ta hãy xác định là một công cụ ước tính không thiên vị của . $\mu_i=\sum_{j=1}^{n_i}\frac{ f(X_{i,j},Y_i)}{n_i}$ $E_X[f(X,Y_i)]$

Sử dụng công thức chuẩn cho phương sai chúng ta có thể viết:

V một r (μ) = = 1 / n^{2} Σ_{tôi = = 1}^{n} Σ_{k = = 1}^{n} C o v (μ_{tôi}, μ_{k})

$Var(\mu)=1/n^2 \sum_{l=1}^n \sum_{k=1}^n Cov(\mu_l,\mu_k)$ Điều này có thể được đơn giản hóa thành và bởi vì

s được vẽ độc lập, chúng tôi có thể đơn giản hóa điều này thành

Và cho hiệp phương sai:

1 / n^{2} (Σ_{Tôi = = 1}^{n} V một r (μ_{tôi}) + 1 / n^{2} Σ_{tôi = = 1}^{n} Σ_{k = = tôi + 1}^{n} 2 * C o v (μ_{tôi}, μ_{k}))

$1/n^2( \sum_{i=1}^n Var(\mu_l)+ 1/n^2\sum_{l=1}^n \sum_{k=l+1}^n 2*Cov(\mu_l,\mu_k))$

X_{i j}

$X_{ij}$

1 / n^{2} (Σ_{Tôi = = 1}^{n} 1 / n_{Tôi} V một r (f (X_{Tôi, j}, Y_{Tôi})) + 1 / n^{2} Σ_{tôi = = 1}^{n} Σ_{k = = tôi + 1}^{n} 2 * C o v (μ_{tôi}, μ_{k}))

$1/n^2( \sum_{i=1}^n 1/n_i Var(f(X_{i,j},Y_i))+1/n^2 \sum_{l=1}^n \sum_{k=l+1}^n 2*Cov(\mu_l,\mu_k))$

\begin{aligned} C o v (μ_{tôi}, μ_{k}) & = = C o v (Σ_{j = = 1}^{n_{tôi}} \frac{f (X_{j, tôi}, Y_{tôi})}{n_{tôi}}, Σ_{j = = 1}^{n_{k}} \frac{f (X_{j, k}, Y_{k})}{n_{k}}) \\ = = \frac{1}{(n_{k} * n_{tôi})} * C o v (Σ_{j = = 1}^{n_{tôi}} f (X_{j, tôi}, Y_{tôi}), Σ_{j = = 1}^{n_{k}} f (X_{j, k}, Y_{k})) \\ = = \frac{1}{(n_{k} * n_{tôi})} * Σ_{j = = 1}^{n_{tôi}} Σ_{j = = 1}^{n_{k}} C o v (f (X, Y_{tôi}), f (X, Y_{k})) \\ = = \frac{n_{k} * n_{tôi}}{(n_{k} * n_{tôi})} C o v (f (X_{Tôi, tôi}, Y_{tôi}), f (X_{Tôi, k}, Y_{k})) \\ = = C o v (f (X, Y_{tôi}), f (X, Y_{k})) \end{aligned}

$\begin{align} Cov(\mu_l,\mu_k)&=Cov(\sum_{j=1}^{n_l} \frac{f(X_{j,l},Y_l)}{n_{l}},\sum_{j=1}^{n_k} \frac{f(X_{j,k},Y_k)}{n_{k}})\\ &=\frac{1}{(n_k*n_l)}*Cov(\sum_{j=1}^{n_l} f(X_{j,l},Y_l),\sum_{j=1}^{n_k} f(X_{j,k},Y_k))\\ &=\frac{1}{(n_k*n_l)}*\sum_{j=1}^{n_l}\sum_{j=1}^{n_k}Cov( f(X,Y_l), f(X,Y_k))\\ &=\frac{n_k*n_l}{(n_k*n_l)}Cov( f(X_{i,l},Y_l), f(X_{i,k},Y_k))\\ &=Cov( f(X,Y_l), f(X,Y_k)) \end{align}$ Vì vậy, cắm lại cái này vào chúng tôi nhận được Tôi có nhiều câu hỏi bây giờ:

1 / n^{2} (Σ_{Tôi = = 1}^{n} 1 / n_{Tôi} V một r (f (X, Y_{Tôi})) + 1 / n^{2} Σ_{tôi = = 1}^{n} Σ_{k = = tôi + 1}^{n} 2 * C o v (f (X, Y_{tôi}), f (X, Y_{k})))

$1/n^2( \sum_{i=1}^n 1/n_i Var(f(X,Y_i))+1/n^2 \sum_{l=1}^n \sum_{k=l+1}^n 2*Cov(f(X,Y_l),f(X,Y_k)))$

Tính toán trên có đúng không?
Làm cách nào tôi có thể ước tính từ các mẫu được cung cấp? $Cov(f(X,Y_l),f(X,Y_k)))$
Liệu phương sai có hội tụ về 0 nếu tôi để n đi đến vô cùng không?

variance unbiased-estimator estimators

— Benedikt Bünz
nguồn

Q1: Không, nó không hoàn toàn đúng. Bạn bỏ qua các mục con trong dòng 3 của đạo hàm cuối cùng của hiệp phương sai. Điều đó che khuất thực tế rằng hai chiếc RV có nhãn "X" trên thực tế độc lập với nhau: một chiếc có chỉ số và chiếc kia là . Trong toàn bộ khối đẳng thức đó, các số hạng khác không phải là khi , bởi vì các hàm của các đầu vào độc lập là độc lập. (Tôi cho rằng bạn ổn khi nói độc lập với mặc dù điều này không tuân theo, nói đúng ra, từ các tuyên bố độc lập theo cặp của tất cả các và ) $\ell$ $k$ $k=\ell$ $X_{12}, Y_1$ $X_{22}, Y_2$ $X$ $Y$

Câu 2: Từ trên, thuật ngữ đó là khác không chỉ khi và trong trường hợp đó, nó giảm xuống . Kết quả sau tổng là . $k=\ell$ $Cov(f(X_{jk}, Y_k), f(X_{jk}, Y_k)) = Var(f(X_{jk}, Y_k))$ $Cov(\mu_k, \mu_k) = \frac{1}{n_k} Var(f(X_{jk}, Y_k))$

Câu 3: Có: sau những sửa đổi này, bạn sẽ chỉ có một số thuật ngữ tuyến tính trong tổng cuối cùng, vì vậy thuật ngữ bậc hai của mẫu số sẽ giành chiến thắng.

— eric_kernfeld
nguồn

Câu trả lời cho "Phương sai có hội tụ về 0 không nếu tôi để n đi đến vô cùng?" là có".

— eric_kernfeld 8/11/2015