Phân phối một hình thức bậc hai, phân phối chi bình phương

Định nghĩa . Giả sử $\mathbf{y} \sim \mathcal{N}(\boldsymbol{\mu}, I_{n \times n})$ .

Sau đó
$w = y^{T} y = ‖ y ‖^{2} \sim χ_{n}^{2} (θ = ‖ μ ‖^{2} / 2 = μ^{T} μ / 2),$ $w = \mathbf{y}^{T}\mathbf{y} = \|\mathbf{y}\|^2 \sim \chi^{2}_{n}\left(\theta = \|\boldsymbol{\mu}\|^2/2 =\boldsymbol{\mu}^{T}\boldsymbol{\mu}/2 \right)\text{,}$ tức là phân phối $\chi^2$ với $n$ độ tham số tự do và phi tập trung $\theta$ .

Tôi đang cố gắng (ít nhất) tìm một bằng chứng về định lý sau:

Định lý . Giả sử $\Sigma$ là ma trận đối xứng và xác định dương $n \times n$ , $A$ là ma trận đối xứng $n \times n$ với thứ hạng $m$ và $(A\Sigma)^2 = A\Sigma$ .

Sau đó $\mathbf{y} \sim \mathcal{N}(\boldsymbol{\mu}, \Sigma) \implies \mathbf{y}^{T}A\mathbf{y} \sim \chi^2_m\left(\boldsymbol{\mu}^{T}A\boldsymbol{\mu}/2\right)\text{.}$

Tôi không thấy định nghĩa này hoạt động như thế nào. Trong mắt tôi, để làm cho định nghĩa mà tôi đưa ra ở trên hoạt động với định lý, chúng ta sẽ phải "tách" $A$ thành lũy thừa $1/2$ (bất kể điều này có nghĩa là gì), tức là nhìn vào $(A^{1/2}\mathbf{y})^TA^{1/2}\mathbf{y}$ , trừ khi tôi thực sự thiếu một cái gì đó ở đây.

Đây chỉ là tôi tự đọc, vì vậy bất kỳ nguồn nào hoặc bất kỳ ai có thể giúp tôi với bằng chứng về điều này sẽ được đánh giá cao.

— Clarinetist
nguồn

Bạn có chắc chắn rằng bạn cũng phải chia cho 2?

— JohnK

@ John Theo những ghi chú này tôi đang đọc, họ lưu ý rằng một số tác giả không thực hiện phép chia cho .

2

$2$

— Clarinetist

Câu hỏi cuối cùng: Ma trận phải đối xứng, phải không?

A

$\mathbf{A}$

— JohnK

Để chứng minh định lý chúng ta sẽ cần kết quả trung gian sau.

Định lý . Đặt và để cho ma trận đối xứng của thứ hạng . Sau đó, nếu là idempotent, Q có phân phối . $\mathbf{y} \sim N_n \left(0, \sigma^2 \mathbf{I}_n \right)$ $Q = \sigma^{-2} \mathbf{y}^{\prime} \mathbf{A} \mathbf{y}$ $\mathbf{A}$ $r$ $\mathbf{A}$ $\chi^2 (r)$

Định lý cũng mở rộng sang hướng khác nhưng chúng ta chỉ cần sự đầy đủ nên chúng ta sẽ chứng minh điều này và chúng ta sẽ làm như vậy bằng cách sử dụng phép phân tách eigenvalue-eigenvector của ma trận idempotent.

Điều quan trọng cần lưu ý là trước tiên chúng ta xem xét trường hợp có nghĩa là không. Chúng tôi sẽ thư giãn giả định này sau đó. Nhưng bây giờ hãy nhớ lại rằng đối với một ma trận vuông bậc r, hãy nói $\mathbf{A}$

A = \sum_{i = 1}^{r} λ_{i} c_{i} c_{i}^{'}

$\mathbf{A} = \sum_{i=1}^{r} \lambda_i \mathbf{c}_i \mathbf{c}_i^{\prime}$

trong đó lambdas là giá trị riêng và là các hàm riêng tương ứng. Tất cả khá chuẩn cho đến nay. Bây giờ nếu chúng tôi bổ sung hạn chế để đối xứng hai điều xảy ra: $\mathbf{c}_i$ $\mathbf{A}$

Các giá trị riêng có giá trị thực
Eigenvector tương ứng với các giá trị riêng khác nhau là trực giao

Đây là những hậu quả của cái gọi là Định lý phổ của đại số tuyến tính và bạn có thể tham khảo bất kỳ sách giáo khoa tốt nào để chứng minh. Điều đó làm gì cho chúng ta? Bạn sắp xem tại sao cần phải có sự đối xứng. Chúng ta hãy viết ra sự phân tách của ở dạng bậc hai của chúng ta và xem điều gì sẽ xảy ra. $\mathbf{A}$

\begin{matrix} (1) & σ^{- 2} y^{'} A y = σ^{- 2} y^{'} (\sum_{i = 1}^{r} λ_{i} c_{i} c_{i}^{'}) y = \sum_{i = 1}^{r} λ_{i} {(σ^{- 1} c_{i}^{'} y)}^{2} \end{matrix}

$\sigma^{-2} \mathbf{y}^{\prime} \mathbf{A} \mathbf{y} = \sigma^{-2} \mathbf{y}^{\prime} \left( \sum_{i=1}^r \lambda_i \mathbf{c}_i \mathbf{c}_i^{\prime} \right) \mathbf{y} = \sum_{i=1}^r \lambda_i \left( \sigma^{-1} \mathbf{c}_i^{\prime} \mathbf{y} \right)^2 \tag{1}$

Chúng tôi đã viết dạng bậc hai của chúng tôi như các hình chiếu bình phương có trọng số lên các trục trực giao. Bây giờ chúng ta hãy điều tra phân phối của và , . Theo quy tắc cơ bản $\mathbf{c}_i ^{\prime} \mathbf{y}$ $\mathbf{c}_j ^{\prime} \mathbf{y}$ $i \neq j$

σ^{- 1} c_{i}^{'} y \sim N (0, \underset{= 1}{\underset{⏟}{c_{i}^{'} c_{i}}})

$\sigma^{-1} \mathbf{c}_i ^{\prime} \mathbf{y} \sim N(0, \underbrace{\mathbf{c}_i^{\prime} \mathbf{c}_i}_{=1} )$

vì các hàm riêng không phải là duy nhất và do đó có thể được định cỡ lại mà không mất tính tổng quát để có độ dài một. Kế tiếp,

C o v (σ^{- 1} c_{i}^{'} x, σ^{- 1} c_{j}^{'} x) = σ^{- 2} c_{i}^{'} I_{n} c_{j} = 0, i \neq j

$Cov\left(\sigma^{-1} \mathbf{c}_i ^{\prime} \mathbf{x} , \sigma^{-1} \mathbf{c}_j ^{\prime} \mathbf{x} \right) = \sigma^{-2}\mathbf{c}_i ^{\prime} I_n \mathbf{c}_j = 0, \ \ i \neq j$

theo hàm ý thứ hai của Định lý phổ. Do đó, triệu hồi của chúng tôi là không tương quan. Theo quy tắc họ cũng độc lập. Dễ dàng nhận thấy rằng tổng bao gồm các biến ngẫu nhiên có trọng số (được tính theo giá trị riêng). Trong chuỗi này, người ta đã hỏi liệu điều này có tuân theo phân phối không. Câu trả lời là không tất nhiên. $\chi^2$ $\chi^2$

Nhập trạng thái bình thường. Nó dễ dàng tuân theo định nghĩa của một ma trận idempotent và vấn đề eigenvalue / eigenvector rằng một ma trận idempotent có các giá trị riêng bằng một hoặc không. Vì theo giả định, ma trận có thứ hạng , có eigenvalues bằng một. vì thế $\mathbf{A}$ $r$ $r$

σ^{- 2} y^{'} A y = \sum_{i = 1}^{r} {(σ^{- 1} c_{i}^{'} y)}^{2} \sim χ^{2} (r)

$\sigma^{-2} \mathbf{y}^{\prime} \mathbf{A} \mathbf{y} = \sum_{i=1}^r \left( \sigma^{-1} \mathbf{c}_i^{\prime} \mathbf{y} \right)^2 \sim \chi^2 (r)$

Và điều này hoàn thành bằng chứng.

Điều gì xảy ra bây giờ nếu vectơ có ý nghĩa khác không? Không có hại gì, chúng tôi sẽ chỉ sử dụng định nghĩa của phân phối không trung tâm để kết luận rằng nếu $y$ $\chi^2$

y \sim N_{n} (μ, σ^{2} I_{n})

$\mathbf{y} \sim N_n \left( \boldsymbol{\mu}, \sigma^2 \mathbf{I}_n \right)$

sau đó

σ^{- 2} y^{'} A y \sim χ^{2} (r, μ^{'} A μ)

$\sigma^{-2} \mathbf{y}^{\prime} \mathbf{A} \mathbf{y} ~ \sim \chi^2 \left(r, \boldsymbol{\mu}^{\prime} \mathbf{A} \boldsymbol{\mu} \right)$

trong đó thuật ngữ thứ hai chỉ ra tham số phi tập trung. (Do lực lượng của thói quen, tôi sẽ bỏ qua cách chia nhưng bạn chỉ có thể làm theo cách của bạn). $2$

Bây giờ chúng tôi đã sẵn sàng để chứng minh kết quả cần thiết.

Định lý . Giả sử là ma trận đối xứng và xác định dương , là ma trận đối xứng với thứ hạng và . $\Sigma$ $n \times n$ $A$ $n \times n$ $r$ $(A\Sigma)^2 = A\Sigma$

Sau đó $\mathbf{y} \sim N(\boldsymbol{\mu}, \Sigma) \implies Q = \mathbf{y}^{\prime}A\mathbf{y} \sim \chi^2 \left(r, \boldsymbol{\mu}^{\prime} \mathbf{A}\boldsymbol{\mu} \right)\text{.}$

Chúng tôi được cho rằng

A Σ A Σ = A Σ

$\mathbf{A\Sigma A \Sigma} = \mathbf{A\Sigma}$

từ đó nó theo đó

A Σ A = A

$\mathbf{A\Sigma A} = \mathbf{A}$

và do đó chúng tôi có thể viết lại dạng bậc hai của chúng tôi như

\begin{matrix} (2) & Q = {(Σ^{- 1 / 2} y)}^{'} Σ^{1 / 2} A Σ^{1 / 2} (Σ^{- 1 / 2} y) \end{matrix}

$Q = \left( \boldsymbol{\Sigma}^{-1/2} \mathbf{y} \right)^{\prime} \boldsymbol{\Sigma}^{1/2} \mathbf{A} \boldsymbol{\Sigma}^{1/2} \left( \boldsymbol{\Sigma}^{-1/2} \mathbf{y} \right) \tag{2}$

Vì theo giả định là một ma trận xác định dương, nên căn bậc hai của nó luôn được xác định rõ và bạn có thể kiểm tra xem bằng cách sử dụng phân tách eigenvalue / eigenvector (Bạn cũng có thể kiểm tra phương trình ( ) có tương đương với phương trình ( )!) $\boldsymbol{\Sigma}$ $2$ $1$

Tất nhiên, bạn sẽ đồng ý rằng . Nếu chúng ta tạm thời cho rằng thì chúng ta sẽ ở trong tình huống của định lý đầu tiên, phải không? Chà, không chính xác - chúng ta vẫn phải chỉ ra rằng ma trận giữa là bình thường nhưng điều đó đủ dễ theo các giả định của chúng ta. $\boldsymbol{\Sigma}^{-1/2} \mathbf{y} \sim N_n \left( \boldsymbol{\Sigma}^{-1/2} \boldsymbol{\mu} , \mathbf{I}_n \right)$ $\boldsymbol{\mu}=0$

Σ^{1 / 2} A Σ^{1 / 2} Σ^{1 / 2} A Σ^{1 / 2} = Σ^{1 / 2} A Σ^{1 / 2}

$\boldsymbol{\Sigma}^{1/2} \mathbf{A} \boldsymbol{\Sigma}^{1/2} \boldsymbol{\Sigma}^{1/2} \mathbf{A} \boldsymbol{\Sigma}^{1/2} = \boldsymbol{\Sigma}^{1/2} \mathbf{A} \boldsymbol{\Sigma}^{1/2}$

Do đó, nếu , có nghĩa là nếu bây giờ chúng ta chuyển đổi trở lại với tình trạng khác thường, chúng ta sẽ có $\mathbf{y} \sim N_n \left(\mathbf{0}, \boldsymbol{\Sigma} \right)$ $Q \sim \chi^2 \left(r \right)$

Q = y^{'} A y \sim χ^{2} (r, μ^{'} A μ)

$Q = \mathbf{y}^{\prime}\mathbf{A}\mathbf{y} \sim \chi^2 \left(r, \boldsymbol{\mu}^{\prime} \mathbf{A}\boldsymbol{\mu} \right)$

theo yêu cầu. $\square$

— JohnK
nguồn

Khi bạn nói "trung bình" (ví dụ: "... trước tiên chúng tôi xem xét trường hợp trung bình bằng 0"), bạn có nghĩa là tham số không trung tính không?

— Clarinetist

@Clarinetist Ý tôi là giá trị trung bình của phân phối chuẩn, , điều này có nghĩa là tham số không trung tính cũng bằng không.

μ

$\boldsymbol{\mu}$

— JohnK

À, vâng. Được chứ. Sản phẩm tại báo cáo kết quả định lý đầu tiên nghĩa vụ phải được ?

y_{n}

$\mathbf{y}_n$

y

$\mathbf{y}$

— Clarinetist

@Clarinetist Có, có nghĩa là để nhấn mạnh kích thước.

— JohnK

Viết rất tốt. Tôi theo dõi khoảng 98% trong lần đọc đầu tiên, điều này thật tuyệt vời khi xem xét những lời giải thích mà tôi đã cố gắng để có được về chủ đề này và các chủ đề tương tự. Tôi có một vài điều tôi cần tìm hiểu và xem xét, nhưng phần lớn tôi hiểu câu trả lời này. Cảm ơn bạn rất nhiều và tận hưởng +12.

— Clarinetist