Ở cấp độ nào là một thử nghiệm

ĐẶT VẤN ĐỀ: Bỏ qua một cách an toàn - nó ở đây để tham khảo và để hợp pháp hóa câu hỏi.

Phần mở đầu của bài viết này có nội dung:

"Thử nghiệm ngẫu nhiên chi-square nổi tiếng Karl Pearson được bắt nguồn từ số liệu thống kê khác, được gọi là số liệu thống kê z, dựa trên sự phân bố bình thường. Các phiên bản đơn giản nhất của $\chi^2$ có thể được chứng minh là toán học giống hệt nhau để kiểm tra z tương đương. Các thử nghiệm sản xuất cùng một kết quả trong mọi hoàn cảnh. đối với tất cả các tính năng “chi-squared” có thể được gọi là “z-squared”. các giá trị quan trọng của $\chi^2$ cho một mức độ tự do là bình phương của các giá trị quan trọng tương ứng của z ".

Điều này đã được khẳng định nhiều lần trong CV ( ở đây , ở đây , ở đây và những người khác).

Và thực sự chúng ta có thể chứng minh rằng $\chi^2_{1\,df}$ tương đương với $X^2$ với $X\sim N(0,1)$ :

Giả sử $X \sim N(0,1)$ và $Y=X^2$ và tìm mật độ của $Y$ bằng cách sử dụng phương pháp $cdf$ :

$p(Y \leq y) = p(X^2 \leq y)= p(-\sqrt{y} \leq x \leq \sqrt{y})$ . Vấn đề là chúng ta không thể tích hợp ở dạng mật độ của phân phối chuẩn. Nhưng chúng ta có thể diễn đạt nó:

F_{X} (y) = F_{X} (\sqrt{y}) - F_{X} (- \sqrt{y}) .

$F_X(y) = F_X(\sqrt{y})- F_X(-\sqrt[]{y}).$ Lấy đạo hàm:

f_{X} (y) = F_{X}^{'} (\sqrt{y}) \frac{1}{2 \sqrt{y}} + F_{X}^{'} (\sqrt{- y}) \frac{1}{2 \sqrt{y}} .

$f_X(y)= F_X'(\sqrt{y})\,\frac{1}{2\sqrt{y}}+ F_X'(\sqrt{-y})\,\frac{1}{2\sqrt{y}}.$

Vì các giá trị của bình thường là đối xứng: $pdf$

. Tương đương này chocủa bình thường (nay làtrongsẽ $f_X(y)= F_X'(\sqrt{y})\,\frac{1}{\sqrt{y}}$ $pdf$ $x$ $pdf$ được cắm vào $\sqrt{y}$ phần củabình thường); và nhớ bao gồm $e^{-\frac{x^2}{2}}$ $pdf$ : $\frac{1}{\sqrt{y}}$

f_{X} (y) = F_{X}^{'} (\sqrt{y}) \frac{1}{\sqrt{y}} = \frac{1}{\sqrt{2 π}} e^{- \frac{y}{2}} \frac{1}{\sqrt{y}} = \frac{1}{\sqrt{2 π}} e^{- \frac{y}{2}} y^{\frac{1}{2} - 1}

$f_X(y)= F_X'(\sqrt[]{y})\,\frac{1}{\sqrt[]{y}}= \frac{1}{\sqrt{2\pi}}\,e^{-\frac{y}{2}}\, \frac{1}{\sqrt[]{y}}=\frac{1}{\sqrt{2\pi}}\,e^{-\frac{y}{2}}\, y^{\frac{1}{2}- 1}$

So sánh với pdf của hình vuông chi:

f_{X} (x) = \frac{1}{2^{ν / 2} Γ (\frac{ν}{2})} e^{\frac{- x}{2}} x^{\frac{ν}{2} - 1}

$f_X(x)= \frac{1}{2^{\nu/2}\Gamma(\frac{\nu}{2})}e^{\frac{-x}{2}}x^{\frac{\nu}{2}-1}$

Kể từ khi , trongdf, chúng ta đã suy ra chính xáccủa hình vuông chi. $\Gamma(1/2)=\sqrt{\pi}$ $1$ $pdf$

Hơn nữa, nếu chúng ta gọi hàm prop.test()trong R, chúng ta sẽ thực hiện phép thử giống như khi chúng ta quyết định . $\chi^2$ chisq.test()

CÂU HỎI:

Vì vậy, tôi nhận được tất cả những điểm này, nhưng tôi vẫn không biết họ áp dụng như thế nào vào việc thực hiện hai thử nghiệm này vì hai lý do:

Một bài kiểm tra z không bình phương.
Thống kê kiểm tra thực tế là hoàn toàn khác nhau:

Giá trị của kiểm định thống kê cho một $\chi^2$ là:

trong đó $\chi^2 = \sum_{i=1}^{n} \frac{(O_i - E_i)^2}{E_i} = N \sum_{i=1}^n p_i \left(\frac{O_i/N - p_i}{p_i}\right)^2$

= Thống kê kiểm tra tích lũy của Pearson, phương pháp này gần như tiếp cậnphân phối . = số lượng quan sát loại ; = tổng số quan sát; = = tần số (lý thuyết) dự kiến của loại , được khẳng định bởi giả thuyết null rằng phần của loại trong dân số là ; = số lượng ô trong bảng. $\chi^2$ $\chi^2$ $O_i$ $i$ $N$ $E_i$ $N p_i$ $i$ $i$ $p_i$ $n$

Mặt khác, thống kê kiểm tra cho -test là: $z$

với $\displaystyle Z = \frac{\frac{x_1}{n_1}-\frac{x_2}{n_2}}{\sqrt{p\,(1-p)(1/n_1+1/n_2)}}$ , trong đóvàlà số "thành công", trên số lượng đối tượng trong mỗi một trong các cấp của các biến phân loại, tức làvà. $\displaystyle p = \frac{x_1\,+\,x_2}{n_1\,+\,n_2}$ $x_1$ $x_2$ $n_1$ $n_2$

Công thức này dường như dựa vào phân phối nhị thức.

Hai bài kiểm tra thống kê rõ ràng là khác nhau, và dẫn đến kết quả khác nhau cho số liệu thống kê kiểm tra thực tế, cũng như đối với các p -values : 5.8481cho và cho z-kiểm tra, nơi (cảm ơn bạn, @ mark999 ). Giá trị p cho phép thử là , trong khi đối với phép thử z là . Sự khác biệt được giải thích bởi hai đuôi so với một đuôi: (cảm ơn bạn @amoeba). $\chi^2$ 2.4183 $\small 2.4183^2=5.84817$ $\chi^2$ 0.015590.0077 $\small 0.01559/2=0.007795$

Vậy ở cấp độ nào chúng ta nói rằng họ là một và giống nhau?

chi-squared proportion z-test

— Antoni Parellada
nguồn

Nhưng đây là hai bài kiểm tra giống hệt nhau. Z bình phương là thống kê chi bình phương. Để bạn có bảng tần số 2x2 trong đó các cột là hai nhóm và các hàng là "thành công" và "thất bại". Sau đó, cái gọi là tần số dự kiến của kiểm tra chi bình phương trong một cột nhất định là hồ sơ (nhóm) trung bình có trọng số (theo nhóm) nhân với nhân của nhóm đó. Do đó, chi bình phương kiểm tra độ lệch của mỗi một trong hai hồ sơ nhóm từ hồ sơ nhóm trung bình này - tương đương với việc kiểm tra sự khác biệt về hồ sơ của các nhóm với nhau, kiểm tra tỷ lệ z.

— ttnphns

In the example on the last hyperlink the

χ^{2}

$\chi^2$ is almost the square of the z-test statistic, but not quite, and the p-values are different. Also, when you look at the formulas for the rest statistics above, is it truly immediate that they are identical? Or even one the square of the other?

— Antoni Parellada

In chisq.test(), have you tried using correct=FALSE?

— mark999

Indeed, Antoni. Both tests exist with or without the Yates. Could it be that you compute one with but the other without it?

— ttnphns

Thank you! You were (predictably) correct. With the Yates correction off, one is just the square of the other. I edited the question accordingly, although a bit fast. I still would like to prove algebraically that both test statistics are the same (or one the square of the other), and understand why the p-values are different.

— Antoni Parellada

Let us have a 2x2 frequency table where columns are two groups of respondents and rows are the two responses "Yes" and "No". And we've turned the frequencies into the proportions within group, i.e. into the vertical profiles:

      Gr1   Gr2  Total
Yes   p1    p2     p
No    q1    q2     q
      --------------
     100%  100%   100%
      n1    n2     N

The usual (not Yates corrected) $\chi^2$ of this table, after you substitute proportions instead of frequencies in its formula, looks like this:

n_{1} [\frac{(p_{1} - p)^{2}}{p} + \frac{(q_{1} - q)^{2}}{q}] + n_{2} [\frac{(p_{2} - p)^{2}}{p} + \frac{(q_{2} - q)^{2}}{q}] = \frac{n_{1} (p_{1} - p)^{2} + n_{2} (p_{2} - p)^{2}}{p q} .

$n_1[\frac{(p_1-p)^2}{p}+\frac{(q_1-q)^2}{q}]+n_2[\frac{(p_2-p)^2}{p}+\frac{(q_2-q)^2}{q}]= \frac{n_1(p_1-p)^2+n_2(p_2-p)^2}{pq}.$

Remember that $p= \frac{n_1p_1+n_2p_2}{n_1+n_2}$ , the element of the weighted average profile of the two profiles (p1,q1) and (p2,q2), and plug it in the formula, to obtain

. . . = \frac{(p_{1} - p_{2})^{2} (n_{1}^{2} n_{2} + n_{1} n_{2}^{2})}{p q N^{2}}

$...= \frac{(p_1-p_2)^2(n_1^2n_2+n_1n_2^2)}{pqN^2}$

Divide both numerator and denominator by the $(n_1^2n_2+n_1n_2^2)$ and get

\frac{(p_{1} - p_{2})^{2}}{p q (1 / n_{1} + 1 / n_{2})} = Z^{2},

$\frac{(p_1-p_2)^2}{pq(1/n_1+1/n_2)}=Z^2,$

the squared z-statistic of the z-test of proportions for "Yes" response.

Thus, the 2x2 homogeneity Chi-square statistic (and test) is equivalent to the z-test of two proportions. The so called expected frequencies computed in the chi-square test in a given column is the weighted (by the group n) average vertical profile (i.e. the profile of the "average group") multiplied by that group's n. Thus, it comes out that chi-square tests the deviation of each of the two groups profiles from this average group profile, - which is equivalent to testing the groups' profiles difference from each other, which is the z-test of proportions.

This is one demonstration of a link between a variables association measure (chi-square) and a group difference measure (z-test statistic). Attribute associations and group differences are (often) the two facets of the same thing.

(Showing the expansion in the first line above, By @Antoni's request):

$n_1[\frac{(p_1-p)^2}{p}+\frac{(q_1-q)^2}{q}]+n_2[\frac{(p_2-p)^2}{p}+\frac{(q_2-q)^2}{q}] = \frac{n_1(p_1-p)^2q}{pq}+\frac{n_1(q_1-q)^2p}{pq}+\frac{n_2(p_2-p)^2q}{pq}+\frac{n_2(q_2-q)^2p}{pq} = \frac{n_1(p_1-p)^2(1-p)+n_1(1-p_1-1+p)^2p+n_2(p_2-p)^2(1-p)+n_2(1-p_2-1+p)^2p}{pq} = \frac{n_1(p_1-p)^2(1-p)+n_1(p-p_1)^2p+n_2(p_2-p)^2(1-p)+n_2(p-p_2)^2p}{pq} = \frac{[n_1(p_1-p)^2][(1-p)+p]+[n_2(p_2-p)^2][(1-p)+p]}{pq} = \frac{n_1(p_1-p)^2+n_2(p_2-p)^2}{pq}.$

— ttnphns
nguồn

@ttnphs This is great! Any chance you could clarify the intermediate step in the first equation (

χ^{2}

$\chi^2$ ) formula - I don't see how the

q

$q$ 's go away after the equal sign.

— Antoni Parellada

@ttnphs When I expand it I get

n_{1} [\frac{(p_{1} - p)^{2}}{p} + \frac{(q_{1} - q)^{2}}{q}] + n_{2} [\frac{(p_{2} - p)^{2}}{p} + \frac{(q_{2} - q)^{2}}{q}] = n_{1} (\frac{q (p^{2} + p (- 2 p_{1} - 2 q_{1} + p_{1}^{2}) + p (q^{2} + q_{1}^{2})}{p q}) + n_{2} (\frac{q (p^{2} + p (- 2 p_{2} - 2 q_{2}) + p_{2}^{2}) + p (q^{2} + q_{2}^{2})}{p q})

$n_1[\frac{(p_1-p)^2}{p}+\frac{(q_1-q)^2}{q}]+n_2[\frac{(p_2-p)^2}{p}+\frac{(q_2-q)^2}{q}]=n_1(\frac{q(p^2+p(-2p_1-2q_1+p_1^2)+p(q^2+q_1^2)}{pq})+n_2(\frac{q(p^2+p(-2p_2-2q_2)+p_2^2)+p(q^2+q_2^2)}{pq})$

— Antoni Parellada

@ttnphs ... Or some reference so it's less work to type the latex... And I'll promptly and happily 'accept' the answer...

— Antoni Parellada

@Antoni, expansion inserted.

— ttnphns

@ttnphns Awesome!

— Antoni Parellada