Tại sao mức độ tự do cho một cặp tương ứng -test số lượng cặp trừ 1?

Tôi quen với việc biết "bậc tự do" là , trong đó bạn có mô hình tuyến tính với , ma trận thiết kế với thứ hạng , , với , . $n - r$

y = X β + ϵ

$\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon}$

y \in R^{n}

$\mathbf{y} \in \mathbb{R}^n$

X \in M_{n \times p} (R)

$\mathbf{X} \in M_{n \times p}(\mathbb{R})$

r

$r$

β \in R^{p}

$\boldsymbol{\beta} \in \mathbb{R}^p$

ϵ \in R^{n}

$\boldsymbol{\epsilon} \in \mathbb{R}^n$

ϵ \sim N (0, σ^{2} I_{n})

$\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \sigma^2 \mathbf{I}_n)$

σ^{2} > 0

$\sigma^2 > 0$

Từ những gì tôi nhớ về các thống kê cơ bản (nghĩa là các mô hình tiền tuyến tính với đại số tuyến tính), mức độ tự do cho các cặp $t$ test khớp là số lượng chênh lệch trừ $1$ . Vì vậy, điều này sẽ đòi hỏi $\mathbf{X}$ có thứ hạng 1, có lẽ. Điều này có đúng không? Nếu không, tại sao $n-1$ là bậc tự do cho các cặp $t$ test khớp ?

Để hiểu ngữ cảnh, giả sử tôi có mô hình hiệu ứng hỗn hợp

y_{i j k} = μ_{i} + some random effects + e_{i j k}

$y_{ijk} = \mu_i + \text{ some random effects} + e_{ijk}$ trong đó

i = 1, 2

$i = 1, 2$ ,

j = 1, \dots, 8

$j = 1, \dots, 8$ , và

k = 1, 2

$k = 1, 2$ . Không có gì đặc biệt về

μ_{i}

$\mu_i$ ngoài việc đó là hiệu ứng cố định và

e_{i j k} \overset{i i d}{\sim} N (0, σ_{e}^{2})

$e_{ijk} \overset{iid}{\sim}\mathcal{N}(0, \sigma^2_e)$ . Tôi cho rằng các hiệu ứng ngẫu nhiên không liên quan đến vấn đề này, vì chúng tôi chỉ quan tâm đến các hiệu ứng cố định trong trường hợp này.

Tôi muốn cung cấp khoảng tin cậy cho $\mu_1 - \mu_2$ .

Tôi đã chỉ ra rằng $\bar{d}_\cdot = \dfrac{1}{8}\sum d_j$ là một công cụ ước tính không thiên vị của $\mu_1 - \mu_2$ , trong đó $d_j = \bar{y}_{1j\cdot} - \bar{y}_{2j\cdot}$ , $\bar{y}_{1j\cdot} = \dfrac{1}{2}\sum_{k}y_{1jk}$ và $\bar{y}_{21\cdot}$ được định nghĩa tương tự. Ước tính điểm $\bar{d}_{\cdot}$ đã được tính toán.

Tôi đã chỉ ra rằng

s_{d}^{2} = \frac{\sum_{j} (d_{j} - {\bar{d}}_{\cdot})^{2}}{8 - 1}

$s^2_d = \dfrac{\sum_{j}(d_j - \bar{d}_{\cdot})^2}{8-1}$ là một công cụ ước lượng không thiên vị về phương sai của

d_{j}

$d_j$ và do đó,

\sqrt{\frac{s_{d}^{2}}{8}}

$\sqrt{\dfrac{s^2_d}{8}}$ là lỗi tiêu chuẩn của

{\bar{d}}_{\cdot}

$\bar{d}_{\cdot}$ . Điều này đã được tính toán.

Bây giờ phần cuối cùng là tìm ra mức độ tự do. Đối với bước này, tôi thường cố gắng tìm ma trận thiết kế - rõ ràng có thứ hạng 2 - nhưng tôi có giải pháp cho vấn đề này, và nó nói rằng mức độ tự do là . $8-1$

Trong bối cảnh tìm thứ hạng của ma trận thiết kế, tại sao các bậc tự do ? $8-1$

Chỉnh sửa để thêm: Có lẽ hữu ích trong cuộc thảo luận này là cách xác định thống kê kiểm tra. Giả sử tôi có một vectơ tham số . Trong trường hợp này, (trừ khi tôi hoàn toàn thiếu một cái gì đó). Về cơ bản, chúng tôi đang thực hiện kiểm tra giả thuyết trong đó . Sau đó, thống kê kiểm tra được đưa ra bởi sẽ được thử nghiệm dựa trên phân phối trung tâm với $\boldsymbol{\beta}$

β = [\begin{matrix} μ_{1} \\ μ_{2} \end{matrix}]

$\boldsymbol{\beta} = \begin{bmatrix} \mu_1 \\ \mu_2 \end{bmatrix}$

c^{'} β = 0

$\mathbf{c}^{\prime}\boldsymbol{\beta} = 0$

c^{'} = [\begin{matrix} 1 & - 1 \end{matrix}]

$\mathbf{c}^{\prime} = \begin{bmatrix} 1 & -1 \end{bmatrix}$

t = \frac{c^{'} \hat{β}}{\sqrt{{\hat{σ}}^{2} c^{'} (X^{'} X)^{- 1} c}}

$t = \dfrac{c^{\prime}\hat{\boldsymbol{\beta}}}{\sqrt{\hat{\sigma}^2c^{\prime}(\mathbf{X}^{\prime}\mathbf{X})^{-1}\mathbf{c}}}$

t

$t$

n - r

$n - r$ bậc tự do, trong đó là ma trận thiết kế như trên và trong đó .

X

$\mathbf{X}$

{\hat{σ}}^{2} = \frac{y^{'} (I - P_{X}) y}{n - r}

$\hat{\sigma}^2 = \dfrac{\mathbf{y}^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}}{n-r}$

P_{X} = X (X^{'} X)^{- 1} X^{'}

$\mathbf{P}_{\mathbf{X}} = \mathbf{X}(\mathbf{X}^{\prime}\mathbf{X})^{-1}\mathbf{X}^{\prime}$

t-test degrees-of-freedom

— Clarinetist
nguồn

Câu trả lời:

Các cặp test khớp với cặp thực sự chỉ là một test một mẫu với mẫu có kích thước . Bạn có khác biệt và đây là iid và được phân phối bình thường. Cột đầu tiên sau có $t$ $n$ $t$ $n$ $n$ $d_1,\ldots,d_n$

\begin{array}{ccccc} [\begin{matrix} d_{1} \\ ⋮ \\ d_{n} \end{matrix}] & = & [\begin{matrix} \bar{d} \\ ⋮ \\ \bar{d} \end{matrix}] & + & [\begin{matrix} d_{1} - \bar{d} \\ ⋮ \\ d_{1} - \bar{d} \end{matrix}] \\ n d.f. & 1 d.f. & (n - 1) d.f. \end{array}

$\begin{array}{ccccc} \begin{bmatrix} d_1 \\ \vdots \\ d_n \end{bmatrix} & = & \begin{bmatrix} \bar d \\ \vdots \\ \bar d \end{bmatrix} & + & \begin{bmatrix} d_1 - \bar d \\ \vdots \\ d_1 - \bar d \end{bmatrix} \\[10pt] n \text{ d.f.} & & 1 \text{ d.f.} & & (n-1) \text{ d.f.} \end{array}$

“ =''

$\text{“}{=}\text{''}$

1

$1$ mức độ tự do vì các ràng buộc tuyến tính cho biết tất cả các mục đều bằng nhau; cái thứ hai có bậc tự do vì ràng buộc tuyến tính cho biết tổng các mục là .

n - 1

$n-1$

0

$0$

— Michael Hardy
nguồn

Vì vậy, nói cách khác, lý do tại sao chúng ta có bậc tự do ở đây không liên quan gì đến mô hình tuyến tính ?

n - 1

$n-1$

y = X β + ϵ

$\mathbf{y}=\mathbf{X}\boldsymbol{\beta}+\boldsymbol{\epsilon}$

— Clarinetist

Nó phải thực hiện với mô hình đó, trong đó ma trận là một cột s và là ma trận với mục nhập duy nhất là sự khác biệt giữa hai phương tiện dân số.

X

$\mathbf X$

1

$1$

β

$\boldsymbol{\beta}$

1 \times 1

$1\times1$

$\qquad$

— Michael Hardy

Aha! Vậy vectơ sẽ là vectơ của s, đúng không? Cảm ơn rât nhiều! Tôi không thể tin được đã khó khăn như thế nào để tìm một câu trả lời về điều này!

y

$\mathbf{y}$

d_{i}

$d_i$

— Clarinetist

Đúng. Đó là vectơ của sự khác biệt quan sát được trong các cặp khớp.

n

$n$

$\qquad$

— Michael Hardy

Rất, rất cám ơn Michael Hardy đã trả lời câu hỏi của tôi.

Ý tưởng là thế này: let và . Sau đó, mô hình tuyến tính của chúng tôi là trong đó là -vector của tất cả những người thân, và Rõ ràng có thứ hạng , do đó chúng ta có bậc tự do .

y = [\begin{matrix} d_{1} \\ ⋮ \\ d_{n} \end{matrix}]

$\mathbf{y} = \begin{bmatrix} d_1 \\ \vdots \\ d_n \end{bmatrix}$

β = [μ_{1} - μ_{2}]

$\boldsymbol{\beta} = [\mu_1 - \mu_2]$

y = 1_{n \times 1} β + ϵ

$\mathbf{y} = \mathbf{1}_{n \times 1}\boldsymbol{\beta} + \boldsymbol{\epsilon}$

1_{n \times 1}

$\mathbf{1}_{n \times 1}$

n

$n$

ϵ = [\begin{matrix} ϵ_{1} \\ ⋮ \\ ϵ_{n} \end{matrix}] \sim N (0, σ^{2} I_{n}) .

$\boldsymbol{\epsilon} = \begin{bmatrix} \epsilon_1 \\ \vdots \\ \epsilon_n \end{bmatrix} \sim \mathcal{N}(\mathbf{0}, \sigma^2\mathbf{I}_n)\text{.}$

X = 1_{n \times 1}

$\mathbf{X} = \mathbf{1}_{n \times 1}$

1

$1$

n - 1

$n-1$

Làm cách nào để chúng tôi biết đặt bằng ? Hãy nhớ lại rằng và vì có thể dễ dàng nhìn thấy, cho tất cả . Với của chúng tôi , rõ ràng nên là gì. Đây là vì $\boldsymbol{\beta}$ $[\mu_1 - \mu_2]$

E [y] = X β

$\mathbb{E}[\mathbf{y}] = \mathbf{X}\boldsymbol{\beta}$

E [d_{j}] = μ_{1} - μ_{2}

$\mathbb{E}[d_j] = \mu_1 - \mu_2$

j

$j$

X

$\mathbf{X}$

β

$\boldsymbol{\beta}$

E [y] = E [[\begin{matrix} d_{1} \\ ⋮ \\ d_{n} \end{matrix}]] = [\begin{matrix} E [d_{1}] \\ ⋮ \\ E [d_{n}] \end{matrix}] = [\begin{matrix} μ_{1} - μ_{2} \\ ⋮ \\ μ_{1} - μ_{2} \end{matrix}] = X β = 1_{n \times 1} β = [\begin{matrix} 1 \\ ⋮ \\ 1 \end{matrix}] β

$\mathbb{E}[\mathbf{y}] = \mathbb{E}\left[\begin{bmatrix} d_1 \\ \vdots \\ d_n \end{bmatrix} \right] = \begin{bmatrix} \mathbb{E}[d_1] \\ \vdots \\ \mathbb{E}[d_n] \end{bmatrix} = \begin{bmatrix} \mu_1 - \mu_2 \\ \vdots \\ \mu_1 - \mu_2 \end{bmatrix} = \mathbf{X}\boldsymbol\beta = \mathbf{1}_{n \times 1}\boldsymbol\beta = \begin{bmatrix} 1 \\ \vdots \\ 1 \end{bmatrix}\boldsymbol\beta$ vì vậy phải là ma trận với .

β

$\boldsymbol\beta$

1 \times 1

$1 \times 1$

β = [μ_{1} - μ_{2}]

$\boldsymbol\beta = [\mu_1 - \mu_2]$

Đặt . Sau đó, kiểm tra giả thuyết của chúng tôi là Do đó, thống kê kiểm tra của chúng tôi là Chúng tôi có Sau một số công việc, có thể hiển thị rằng Cũng có thể hiển thị rằng $\mathbf{c}^{\prime} = [1]$

H_{0} : c^{'} β = 0 .

$H_0: \mathbf{c}^{\prime}\boldsymbol{\beta} = 0\text{.}$

\frac{c^{'} \hat{β}}{\sqrt{{\hat{σ}}^{2} c^{'} {(X^{'} X)}^{- 1} c}} .

$\dfrac{\mathbf{c}^{\prime}\hat{\boldsymbol{\beta}}}{\sqrt{\hat{\sigma}^2\mathbf{c}^{\prime}\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{c}}}\text{.}$

{\hat{σ}}^{2} = \frac{y^{'} (I - P_{X}) y}{n - r (X)} .

$\hat{\sigma}^2 = \dfrac{\mathbf{y}^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}}{n-r(\mathbf{X})}\text{.}$

P_{X} = P_{1_{n \times 1}} = 1_{n \times 1} (\frac{1}{n}) 1^{'} .

$\mathbf{P}_\mathbf{X} = \mathbf{P}_{\mathbf{1}_{n \times 1}} = \mathbf{1}_{n \times 1}\left(\dfrac{1}{n}\right)\mathbf{1}^{\prime}\text{.}$

I - P_{X}

$\mathbf{I}-\mathbf{P}_{\mathbf{X}}$ là đối xứng và idempotent. Vì vậy, và

\begin{aligned} {\hat{σ}}^{2} & = \frac{y^{'} (I - P_{X}) y}{n - r (X)} \\ = \frac{y^{'} (I - P_{X})^{'} (I - P_{X}) y}{n - r (X)} \\ = \frac{‖ (I - P_{X}) y ‖^{2}}{n - r (X)} \\ = \frac{{‖ [I - 1_{n \times 1} (\frac{1}{n}) 1^{'}] y ‖}^{2}}{n - 1} \\ = \frac{{‖ [\begin{matrix} d_{1} \\ ⋮ \\ d_{n} \end{matrix}] - [\begin{matrix} {\bar{d}}_{\cdot} \\ ⋮ \\ {\bar{d}}_{\cdot} \end{matrix}] ‖}^{2}}{n - 1} \\ = \frac{\sum_{i = 1}^{n} (d_{i} - {\bar{d}}_{\cdot})^{2}}{n - 1} \\ = s_{d}^{2} \end{aligned}

$\begin{align} \hat{\sigma}^2 &= \dfrac{\mathbf{y}^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}}{n-r(\mathbf{X})} \\ &= \dfrac{\mathbf{y}^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}}{n-r(\mathbf{X})} \\ &= \dfrac{\|(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}\|^{2}}{n-r(\mathbf{X})} \\ &=\dfrac{\left\|\left[\mathbf{I}-\mathbf{1}_{n \times 1}\left(\dfrac{1}{n}\right)\mathbf{1}^{\prime}\right]\mathbf{y} \right\|^2}{n-1} \\ &= \dfrac{\left\|\begin{bmatrix} d_1 \\ \vdots \\ d_n \end{bmatrix} - \begin{bmatrix} \bar{d}_\cdot \\ \vdots \\ \bar{d}_\cdot \end{bmatrix} \right\|^2}{n-1} \\ &= \dfrac{\sum_{i=1}^{n}(d_i-\bar{d}_{\cdot})^2}{n-1} \\ &= s^2_d \end{align}$

X^{'} X = 1_{n \times 1}^{'} 1_{n \times 1} = n

$\mathbf{X}^{\prime}\mathbf{X} = \mathbf{1}_{n \times 1}^{\prime}\mathbf{1}_{n \times 1} = n$ mà rõ ràng là có nghịch đảo , do đó đem lại một thống kê kiểm tra mà sẽ được thử nghiệm trên một trung tâm -distribution với bậc Tự do như mong muốn.

1 / n

$1/n$

\frac{{\hat{μ}}_{1} - {\hat{μ}}_{2}}{\sqrt{s_{d}^{2} / n}}

$\dfrac{\hat\mu_1-\hat\mu_2}{\sqrt{s^2_d/n}}$

t

$t$

n - 1

$n - 1$

— Clarinetist
nguồn