Bình thường tiệm cận của một hình thức bậc hai

Hãy $\mathbf{x}$ là một vector ngẫu nhiên rút ra từ $P$ . Xét một mẫu $\{ \mathbf{x}_i \}_{i=1}^n \stackrel{i.i.d.}{\sim} P$ . Xác định $\bar{\mathbf{x}}_n := \frac{1}{n} \sum_{i=1}^n \mathbf{x}_i$ , và $\hat{C} := \frac{1}{n} \sum_{i=1}^n (\mathbf{x}_i - \bar{\mathbf{x}}_n) (\mathbf{x}_i - \bar{\mathbf{x}}_n)^\top$ . Đặtvà. $\boldsymbol{\mu} := \mathbb{E}_{\mathbf{x}\sim P}[\mathbf{x}]$ $C:=\mathrm{cov}_{\mathbf{x} \sim P}[\mathbf{x}, \mathbf{x}]$

Theo định lý giới hạn trung tâm, giả sử rằng

\sqrt{n} ({\bar{x}}_{n} - μ) \overset{d}{\to} N (0, C),

$\sqrt{n} \big( \bar{\mathbf{x}}_n - \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(\boldsymbol{0}, C),$

Trong đó là ma trận hiệp phương sai bậc đầy đủ. $C$

Câu hỏi : Làm thế nào để tôi chứng minh (hoặc từ chối) rằng

\sqrt{n} ({\bar{x}}_{n}^{⊤} (\hat{C} + γ_{n} I)^{- 1} {\bar{x}}_{n} - μ^{⊤} C^{- 1} μ) \overset{d}{\to} N (0, v^{2}),

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top (\hat{C} + \gamma_n I)^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top C^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2),$

đối với một số và đối với một số sao cho ? Điều này có vẻ đơn giản. Nhưng tôi không thể tìm ra chính xác làm thế nào để thể hiện điều này. Đây không phải là một câu hỏi bài tập về nhà. $v>0$ $\gamma_n \ge 0$ $\lim_{n\to \infty} \gamma_n =0$

Hiểu biết của tôi là phương pháp delta sẽ cho phép chúng ta dễ dàng kết luận

\sqrt{n} ({\bar{x}}_{n}^{⊤} C^{- 1} {\bar{x}}_{n} - μ^{⊤} C^{- 1} μ) \overset{d}{\to} N (0, v^{2}),

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top C^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top C^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2),$

hoặc là

\sqrt{n} ({\bar{x}}_{n}^{⊤} (\hat{C} + γ_{n} I)^{- 1} {\bar{x}}_{n} - μ^{⊤} (\hat{C} + γ_{n} I)^{- 1} μ) \overset{d}{\to} N (0, v^{2}) .

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top (\hat{C} + \gamma_n I)^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top (\hat{C} + \gamma_n I)^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2).$

Đây là một chút khác nhau từ những gì tôi muốn. Lưu ý các ma trận hiệp phương sai trong hai thuật ngữ. Tôi cảm thấy rằng tôi bỏ lỡ một cái gì đó rất tầm thường ở đây. Ngoài ra, nếu nó làm mọi thứ đơn giản hơn, chúng ta cũng có thể bỏ qua tức là đặt và giả sử rằng là không thể đảo ngược. Cảm ơn. $\gamma_n$ $\gamma_n =0$ $\hat{C}$

— wij
nguồn

Chúng ta cần biết một vài điều về cách chuyển sang 0. Đây có phải là một chuỗi các hằng số không? Tôi nghĩ rằng trước tiên bạn phải hiển thị mà tôi nghĩ là kết quả của Slutsky. Sau đó, tôi sẽ viết là . có phân phối giới hạn có thể được tìm thấy phương thức . Cuối cùng, bạn có thể cố gắng hiển thị rằng đi đến 0 trong xác suất. Mặc dù tôi không chắc liệu điều đó có giữ được không ...

γ_{n}

$\gamma_n$

{\bar{x}}_{n}^{T} γ_{n} I {\bar{x}}_{n} \to_{p} 0

$\bar{x}_n^T \gamma_n I \bar{x}_n \rightarrow_p 0$

\hat{C}

$\hat{C}$

C + bias (\hat{C})

$C + \text{bias}(\hat{C})$

{\bar{x}}_{n}^{T} C {\bar{x}}_{n}

$\bar{x}_n^T C \bar{x}_n$

δ

$\delta$

{\bar{x}}_{n}^{T} bias (\hat{C}) {\bar{x}}_{n}

$\bar{x}_n^T \text{bias}(\hat{C}) \bar{x}_n$

— AdamO

γ_{n}

$\gamma_n$ là một chuỗi các hằng số (không phải ngẫu nhiên). Trình tự có thể được đặt thành bất cứ điều gì làm cho sự hội tụ hoạt động (nếu một chuỗi như vậy tồn tại). Tôi nghĩ là đúng. Tôi đã không làm theo tại sao trước tiên chúng ta cần điều này. Nhưng hãy để tôi suy nghĩ về nó và phần còn lại nhiều hơn. :)

{\bar{x}}_{n}^{⊤} I {\bar{x}}_{n} \overset{p}{\to} 0

$\bar{x}_n^\top I \bar{x}_n \stackrel{p}{\to} 0$

— wij

Tôi không đề cập đến: sự do dự của bạn khi trực tiếp áp dụng -method và gọi nó được thực hiện là được bảo hành tốt. Tôi nghĩ bạn có thể viết nó ra một cách cẩn thận. Các định lý hữu ích cho các loại bằng chứng này là Slutsky, Định lý ánh xạ liên tục Mann-Wald và định lý Cramer-Wold.

δ

$\delta$

— AdamO

Tôi đồng ý rằng kết quả bạn đề cập có thể hữu ích. Tôi vẫn không thấy như thế nào. Thật ra tôi cũng bắt đầu nghĩ rằng phân phối tiệm cận có thể không phải là phân phối bình thường.

— wij

Có vẻ như điều này phức tạp hơn mà dường như. Bài viết arXiv ở đây mô tả những gì xảy ra ở kích thước cao. Tôi không thể tìm thấy một kích thước tương tự cố định, nhưng chúng có một đối số chiều hữu hạn trong Phần 3.

— Greenparker

Có một số khó khăn khi sử dụng phương pháp Delta. Thuận tiện hơn để lấy nó bằng tay.

Bởi luật số lớn, . Do đó . Áp dụng định lý Slutsky, chúng ta có Theo định lý ánh xạ liên tục, chúng ta có Do đó Theo định lý của Slutsky, chúng ta có Kết hợp hai sản lượng bình đẳng trên $\hat{C}\xrightarrow{P} C$ $\hat{C} +\gamma_n I\xrightarrow{P} C$

\sqrt{n} (\hat{C} + γ_{n} I)^{- 1 / 2} (\bar{X} - μ) \overset{d}{\to} N (0, C^{- 1}) .

$\sqrt{n}(\hat{C} +\gamma_n I)^{-1/2}(\bar{X}-\mu)\xrightarrow{d}\mathcal{N} (0,C^{-1}).$

n (\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{d}{\to} \sum_{i = 1}^{p} λ_{i}^{- 1} (C) χ_{1}^{2} .

${n}(\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{d}\sum_{i=1}^p \lambda_i^{-1}(C)\chi^2_1.$

\sqrt{n} (\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{P}{\to} 0.

$\sqrt{n}(\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{P}0.$

\sqrt{n} μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{d}{\to} N (0, μ^{T} C^{- 2} μ) .

$\sqrt{n}\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{d}\mathcal{N} (0,\mu^T C^{-2}\mu).$

\begin{aligned} \sqrt{n} ({\bar{X}}^{T} (\hat{C} + γ_{n} I)^{- 1} \bar{X} - μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ) \\ = & \sqrt{n} ((\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) - 2 μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ)) \\ = & - 2 \sqrt{n} μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) + o_{P} (1) \\ \overset{d}{\to} & N (0, 4 μ^{T} C^{- 2} μ) . \end{aligned}

$\begin{align} &\sqrt{n}\big(\bar{X}^T (\hat{C} +\gamma_n I)^{-1}\bar{X}-\mu^T (\hat{C} +\gamma_n I)^{-1}\mu\big) \\ = &\sqrt{n}\Big((\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)-2\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\Big) \\ =&-2\sqrt{n}\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)+o_P(1) \\ \xrightarrow{d}&\mathcal{N} (0,4\mu^T C^{-2}\mu). \end{align}$ Nhiệm vụ còn lại là xử lý Thật không may, liều hạn này KHÔNG hội tụ về . Hành vi trở nên phức tạp và phụ thuộc vào khoảnh khắc thứ ba và thứ tư.

\sqrt{n} (μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ - μ^{T} (C)^{- 1} μ) .

$\sqrt{n} \Big( \mu^T (\hat{C} +\gamma_n I)^{-1}\mu-\mu^T (C)^{-1}\mu \Big).$

0

$0$

Để đơn giản, bên dưới chúng tôi giả sử được phân phối bình thường và . Đó là kết quả chuẩn mà trong đó là ma trận ngẫu nhiên đối xứng với các phần tử đường chéo là và tắt các phần tử đường chéo là . Do đó, Bằng cách mở rộng ma trận taylor , chúng tôi có $X_i$ $\gamma_n=o(n^{-1/2})$

\sqrt{n} (\hat{C} - C) \overset{d}{\to} C^{1 / 2} W C^{1 / 2},

$\sqrt{n}(\hat{C}-C)\xrightarrow{d}C^{1/2} W C^{1/2},$

W

$W$

N (0, 2)

$\mathcal{N}(0,2)$

N (0, 1)

$\mathcal{N}(0,1)$

\sqrt{n} (\hat{C} + γ_{n} I - C) \overset{d}{\to} C^{1 / 2} W C^{1 / 2},

$\sqrt{n}(\hat{C}+\gamma_n I-C)\xrightarrow{d}C^{1/2} W C^{1/2},$

(I + A)^{- 1} \sim I - A + A^{2}

$(I+A)^{-1}\sim I-A+A^2$

\begin{aligned} \sqrt{n} ((\hat{C} + γ_{n} I)^{- 1} - C^{- 1}) = \sqrt{n} C^{- 1 / 2} ((C^{- 1 / 2} (\hat{C} + γ_{n} I) C^{- 1 / 2})^{- 1} - I) C^{- 1 / 2} \\ = & \sqrt{n} C^{- 1} (\hat{C} + γ_{n} I - C) C^{- 1} + O_{P} (n^{- 1 / 2}) \overset{d}{\to} C^{- 1 / 2} W C^{- 1 / 2} . \end{aligned}

$\begin{align} &\sqrt{n}\Big((\hat{C} +\gamma_n I)^{-1}- C^{-1}\Big)= \sqrt{n}C^{-1/2}\Big(\big(C^{-1/2}(\hat{C} +\gamma_n I)C^{-1/2}\big)^{-1}-I\Big)C^{-1/2}\\ =&\sqrt{n}C^{-1}\Big(\hat{C} +\gamma_n I-C\Big)C^{-1}+O_P(n^{-1/2}) \xrightarrow{d}C^{-1/2} W C^{-1/2}. \end{align}$ Do đó,

\sqrt{n} (μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ - μ^{T} (C)^{- 1} μ) \overset{d}{\to} μ^{T} C^{- 1 / 2} W C^{- 1 / 2} μ \sim N (0, (μ^{T} C^{- 1} μ)^{2}) .

$\sqrt{n} \Big( \mu^T (\hat{C} +\gamma_n I)^{-1}\mu-\mu^T (C)^{-1}\mu \Big)\xrightarrow{d}\mu^T C^{-1/2} W C^{-1/2}\mu \sim N(0,(\mu^T C^{-1}\mu)^2).$

Do đó,

\begin{aligned} \sqrt{n} ({\bar{X}}^{T} (\hat{C} + γ_{n} I)^{- 1} \bar{X} - μ^{T} C^{- 1} μ) \overset{d}{\to} N (0, 4 μ^{T} C^{- 2} μ + (μ^{T} C^{- 1} μ)^{2}) . \end{aligned}

$\begin{align} \sqrt{n}\big(\bar{X}^T (\hat{C} +\gamma_n I)^{-1}\bar{X}-\mu^T C^{-1}\mu\big) \xrightarrow{d}\mathcal{N} (0,4\mu^T C^{-2}\mu+(\mu^T C^{-1}\mu)^2). \end{align}$

— keng123
nguồn

Cảm ơn câu trả lời của bạn. Chính xác là thuật ngữ đó không hội tụ về 0 khiến cho toàn bộ điều này trở nên khó khăn. Thật không may, tôi không thể cho rằng được phân phối bình thường. Nhưng tôi vẫn đánh giá cao câu trả lời. Nếu bạn có thể nhận xét về cách nó phụ thuộc vào khoảnh khắc thứ ba và thứ tư (có lẽ với các tài liệu tham khảo), điều đó sẽ hữu ích. Ngoài ra tôi không thể giải thích tại thời điểm này. Nhưng tôi cảm thấy rằng phải phân rã chậm hơn . Tôi phải suy nghĩ về lý do cẩn thận hơn.

X_{i}

$X_i$

g a m m a_{n}

$gamma_n$

o (n^{- 1 / 2})

$o(n^{-1/2})$

— wij

Tôi quên thêm rằng trong trường hợp của tôi, có thể được coi là sống trong một tập hợp nhỏ gọn (nếu cần). Điều này có thể giúp với các điều kiện thời điểm.

X_{i}

$X_i$

— wij