Có một công cụ ước tính không thiên vị về khoảng cách Hellinger giữa hai bản phân phối không?

Trong cài đặt mà người ta quan sát phân phối từ phân phối có mật độ , tôi tự hỏi liệu có một công cụ ước tính không thiên vị (dựa trên ) của khoảng cách Hellinger đến phân phối khác với mật độ , cụ thể là $X_1,\ldots,X_n$ $f$ $X_i$ $f_0$

H (f, f_{0}) = {1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x}^{1 / 2} .

$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$

— Tây An
nguồn

Vì vậy, 0,2 được biết và cố định. Nhưng được biết đến hoặc từ một gia đình tham số hoặc đang làm điều này trong một khuôn khổ không tham số với tất cả những gì bạn biết về f đến từ mẫu của bạn? Tôi nghĩ rằng nó làm cho một sự khác biệt khi cố gắng trả lời.

— Michael R. Chernick

@MichaelCécick: giả sử tất cả những gì bạn biết về là mẫu .

f

$f$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— Tây An

Tôi không nghĩ rằng nó đã được tính toán (nếu có). Nếu có tồn tại, thì AIC có một người anh trai đã mất.

Một cuộc tấn công vào vấn đề này có vẻ khả thi nếu bạn cho rằng và là rời rạc. Điều này dẫn đến một công cụ ước tính rõ ràng (tính khoảng cách Hellinger giữa EDF và ). Bootstrapping (về mặt lý thuyết, không thông qua mô phỏng!) Sẽ giúp chúng ta xử lý sự thiên vị có thể cũng như cách để giảm (hoặc thậm chí loại bỏ) sự thiên vị. Tôi giữ một số hy vọng để thành công với khoảng cách bình phương hơn là khoảng cách, bởi vì nó dễ tính toán hơn. Giả định của một rời rạc là không có vấn đề trong các ứng dụng; không gian của rời rạc

f

$f$

f_{0}

$f_0$

f_{0}

$f_0$

f

$f$

f

$f$ là một tập hợp con dày đặc.

— whuber

Tôi nghĩ rằng bằng chứng của Rosenblatt rằng không có ước tính không thiên vị "bona fide" của

f

$f$ . Chúng ta có thể khắc phục điều đó và có được một công cụ ước tính không có giá trị của

H (f, f_{0})

$H(f,f_0)$ không? Tôi không biết.

— Zen

Câu trả lời:

Không có công cụ ước lượng không thiên vị nào của $\mathfrak{H}$ hoặc của $\mathfrak{H}^2$ tồn tại cho $f$ từ bất kỳ lớp phân phối không đối xứng rộng nào.

Chúng ta có thể chỉ ra điều này với lập luận đẹp đơn giản của

Bickel và Lehmann (1969). Ước lượng không thiên vị trong các gia đình lồi . Biên niên sử thống kê toán học, 40 (5) 1523 Từ1535. ( dự án điện tử )

Khắc phục một số phân phối , và , với mật độ tương ứng , và . Hãy biểu thị , và để cho được một số ước lượng của dựa trên mẫu iid . $F_0$ $F$ $G$ $f_0$ $f$ $g$ $H(F)$ $\mathfrak{H}(f, f_0)$ $\hat H(\mathbf X)$ $H(F)$ $n$ $X_i \sim F$

Giả sử rằng là không thiên vị cho mẫu từ bất kỳ phân phối dưới hình thức Nhưng sau đó $\hat H$

M_{α} := α F + (1 - α) G .

$M_\alpha := \alpha F + (1 - \alpha) G .$

do đó

phải là một đa thức trong

của độ nhiều nhất

\begin{aligned} Q (α) & = H (M_{α}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) d M_{α} (x_{1}) \dots d M_{α} (x_{n}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) [α d F (x_{1}) + (1 - α) d G (x_{1})] \dots [α d F (x_{n}) + (1 - α) d G (x_{n})] \\ = α^{n} E_{X \sim F^{n}} [\hat{H} (X)] + \dots + (1 - α)^{n} E_{X \sim G^{n}} [\hat{H} (X)], \end{aligned}

$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$

Q (α)

$Q(\alpha)$

α

$\alpha$

n

$n$

Bây giờ, hãy chuyên về một trường hợp hợp lý và chỉ ra rằng tương ứng không phải là đa thức. $Q$

Đặt là một số phân phối có mật độ không đổi trên : cho tất cả . (Hành vi của nó nằm ngoài phạm vi đó không thành vấn đề.) Đặt là một số phân phối chỉ được hỗ trợ trên và một số phân phối chỉ được hỗ trợ trên . $F_0$ $[-1, 1]$ $f_0(x) = c$ $\lvert x \rvert \le 1$ $F$ $[-1, 0]$ $G$ $[0, 1]$

Bây giờ nơi

\begin{aligned} Q (α) & = H (m_{α}, f_{0}) \\ = \sqrt{1 - \int_{R} \sqrt{m_{α} (x) f_{0} (x)} d x} \\ = \sqrt{1 - \int_{- 1}^{0} \sqrt{c α f (x)} d x - \int_{0}^{1} \sqrt{c (1 - α) g (x)} d x} \\ = \sqrt{1 - \sqrt{α} B_{F} - \sqrt{1 - α} B_{G}}, \end{aligned}

$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$

và tương tự cho

. Lưu ý rằng

cho mọi phân phối

có mật độ.

B_{F} := \int_{R} \sqrt{f (x) f_{0} (x)} d x

$B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$

B_{G}

$B_G$

B_{F} > 0

$B_F > 0$

B_{G} > 0

$B_G > 0$

F

$F$

G

$G$

không phải là đa thức của bất kỳ mức độ hữu hạn nào. Vì vậy, không có ước lượng có thể không thiên vị chotrên tất cả các phân phốivới hữu hạn nhiều mẫu. $\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ $\hat H$ $\mathfrak{H}$ $M_\alpha$

Tương tự như vậy, bởi vì cũng không phải là đa thức, không có ước lượng nào cho, không thiên vị trên tất cả các phân phốivới nhiều mẫu chính xác. $1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ $\mathfrak{H}^2$ $M_\alpha$

Điều này loại trừ khá nhiều tất cả các lớp phân phối không theo tỷ lệ hợp lý, ngoại trừ những lớp có mật độ giới hạn dưới đây (một giả định phân tích không theo tỷ lệ đôi khi đưa ra). Bạn có thể cũng có thể giết các lớp đó bằng một đối số tương tự bằng cách làm cho mật độ không đổi hoặc một cái gì đó.

— Dougal
nguồn

Tôi không biết cách xây dựng (nếu nó tồn tại) một công cụ ước tính không thiên vị về khoảng cách Hellinger. Dường như có thể xây dựng một công cụ ước tính nhất quán. Chúng tôi có một số mật độ đã biết cố định và một mẫu ngẫu nhiên từ mật độ . Chúng tôi muốn ước tính $f_0$ $X_1,\dots,X_n$ $f>0$

H (f, f_{0}) = \sqrt{1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x} = \sqrt{1 - \int_{X} \sqrt{\frac{f_{0} (x)}{f (x)}} f (x) d x}

$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$

trong đó

. Đến SLLN, chúng ta biết rằng

= \sqrt{1 - E [\sqrt{\frac{f_{0} (X)}{f (X)}}]},

$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$

X \sim f

$X\sim f$

Gần như chắc chắn, như

. Do đó, một cách phải chăng để ước tính

sẽ mất một số ước lượng mật độ

(chẳng hạn như một ước lượng mật độ hạt nhân truyền thống) của

, và tính toán

\sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{f (X_{i})}}} \to H (f, f_{0}),

$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$

n \to \infty

$n\to\infty$

H (f, f_{0})

$H(f,f_0)$

\hat{f_{n}}

$\hat{f_n}$

f

$f$

\hat{H} = \sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{\hat{f_{n}} (X_{i})}}} .

$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$

— Thiền
nguồn

H

$H$

{\hat{H}}_{n}^{2}

$\hat H^2_n$

E [(\sqrt{f_{0} (X) / f (X)})^{2}] = 1

$\mathbb{E}[(\sqrt{f_0(X)/f(X)})^2]=1$

Cảm ơn đã làm rõ về phương sai của người ước tính, Xi'an!

— Thiền

k

$k$

f

$f$

f_{0}

$f_0$

f_{0}

$f_0$