Kiểm tra mẫu độc lập: Dữ liệu có thực sự cần được phân phối bình thường cho cỡ mẫu lớn không?

Giả sử tôi muốn kiểm tra xem hai mẫu độc lập có phương tiện khác nhau không. Tôi biết phân phối cơ bản là không bình thường .

Nếu tôi hiểu chính xác, thống kê kiểm tra của tôi là giá trị trung bình và đối với kích thước mẫu đủ lớn, giá trị trung bình sẽ được phân phối bình thường ngay cả khi các mẫu không. Vì vậy, một thử nghiệm có ý nghĩa tham số nên có giá trị trong trường hợp này, phải không? Tôi đã đọc thông tin mâu thuẫn và khó hiểu về điều này vì vậy tôi sẽ đánh giá cao một số xác nhận (hoặc giải thích tại sao tôi sai).

Ngoài ra, tôi đã đọc rằng đối với kích thước mẫu lớn, tôi nên sử dụng thống kê z thay vì thống kê t. Nhưng trong thực tế, phân phối t sẽ chỉ hội tụ đến phân phối bình thường và hai thống kê nên giống nhau, phải không?

Chỉnh sửa : Dưới đây là một số nguồn mô tả z-test. Cả hai đều tuyên bố rằng các quần thể phải được phân phối bình thường:

Ở đây , nó nói "Không phân biệt loại thử nghiệm Z được sử dụng, người ta cho rằng các quần thể mà các mẫu được rút ra là bình thường." Và ở đây , các yêu cầu đối với phép thử z được liệt kê là "Hai quần thể phân bố bình thường nhưng độc lập, được biết đến".

Tôi nghĩ rằng đây là một sự hiểu lầm phổ biến của CLT. CLT không chỉ không liên quan gì đến việc bảo tồn lỗi loại II (mà không ai đề cập ở đây) mà còn không được áp dụng khi bạn phải ước tính phương sai dân số. Phương sai mẫu có thể rất xa so với phân phối chi bình phương tỷ lệ khi dữ liệu không phải là Gaussian, do đó CLT có thể không áp dụng ngay cả khi kích thước mẫu vượt quá hàng chục nghìn. Đối với nhiều bản phân phối, SD thậm chí không phải là một biện pháp phân tán tốt.

Để thực sự sử dụng CLT, một trong hai điều phải đúng: (1) độ lệch chuẩn mẫu hoạt động như một thước đo độ phân tán cho phân phối chưa biết thực sự hoặc (2) độ lệch chuẩn dân số thực được biết. Đó là rất thường xuyên không phải là trường hợp. Và một ví dụ về n = 20.000 là quá nhỏ để CLT "hoạt động" đến từ việc vẽ các mẫu từ phân phối logic bất thường như được thảo luận ở nơi khác trên trang web này.

Độ lệch chuẩn mẫu "hoạt động" như một biện pháp phân tán nếu ví dụ phân phối là đối xứng và không có đuôi nặng hơn phân bố Gaussian.

Tôi không muốn dựa vào CLT cho bất kỳ phân tích nào của tôi.

Tôi sẽ để lại đoạn này để các ý kiến ​​có ý nghĩa: Có lẽ giả định về tính quy tắc trong các quần thể ban đầu là quá hạn chế và có thể được bỏ qua tập trung vào phân phối mẫu và nhờ vào định lý giới hạn trung tâm, đặc biệt là đối với các mẫu lớn.

$t$

Như bạn đã đề cập, phân phối t không hội tụ đến phân phối bình thường khi mẫu tăng lên, vì biểu đồ R nhanh này thể hiện:

$t$

Vì vậy, áp dụng thử nghiệm z có thể sẽ ổn với các mẫu lớn.

Giải quyết các vấn đề với câu trả lời ban đầu của tôi. Cảm ơn bạn, Glen_b vì sự giúp đỡ của bạn với OP (những lỗi mới có thể xảy ra trong diễn giải hoàn toàn thuộc về tôi).

1. CÁC TÌNH TRẠNG TUYỆT VỜI TẠI PHÂN PHỐI THEO ĐÁNH GIÁ BÌNH THƯỜNG:

Bỏ qua sự phức tạp trong các công thức cho một mẫu hai mẫu (ghép đôi và không ghép cặp), thống kê t chung tập trung vào trường hợp so sánh trung bình mẫu với trung bình dân số là:

$\text{t-test}= \Large \frac{\bar X-\mu}{\frac{s}{\sqrt{n}}}=\large\frac{\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}}{\sqrt{\frac{s^2}{\sigma^2}}} =\displaystyle \large\frac{\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}}{\sqrt{\frac{\frac{\sum_{x=1}^n(X - \bar{X})^2}{n-1}}{\sigma^2}}} \tag1$

$X$$\mu$$\sigma^2$

1. $(1)$ $\sim N(1,0)$
2. $(1)$$\frac{s^2/\sigma^2}{n-1}\sim\frac{1}{n-1}\,\,\chi^2_{n-1}$$(n-1)s^2/\sigma^2\sim\chi^2_{n-1}$
3. Tử số và mẫu số phải độc lập.

$\text{t-statistic} \sim t(df=n-1)$

2. Định lý giới hạn trung tâm:

Xu hướng về tính quy tắc của phân phối mẫu của mẫu có nghĩa là khi kích thước mẫu tăng có thể biện minh cho việc phân phối tử số bình thường ngay cả khi dân số không bình thường. Tuy nhiên, nó không ảnh hưởng đến hai điều kiện còn lại (phân phối bình phương của mẫu số và tính độc lập của tử số với mẫu số).

Nhưng không phải tất cả đã mất, trong bài viết này, người ta đã thảo luận về cách định lý Slutzky hỗ trợ sự hội tụ tiệm cận đối với phân phối bình thường ngay cả khi phân phối chi của mẫu số không được đáp ứng.

3. ROBUSTNESS:

Trên bài báo "Một cái nhìn thực tế hơn về tính mạnh mẽ và lỗi loại II của thử nghiệm để khởi hành từ quy tắc dân số" của Sawilowsky SS và Blair RC trong Bản tin tâm lý, 1992, Tập. 111, Số 2, 352-360 , trong đó họ đã thử nghiệm các bản phân phối ít lý tưởng hơn hoặc "thế giới thực" (ít bình thường hơn) cho các lỗi và loại I, có thể tìm thấy các xác nhận sau: "Mặc dù bản chất bảo thủ liên quan đến Loại Tôi có lỗi trong thử nghiệm t đối với một số phân phối thực tế này, có rất ít ảnh hưởng đến mức năng lượng đối với sự đa dạng của các điều kiện xử lý và cỡ mẫu nghiên cứu. Các nhà nghiên cứu có thể dễ dàng bù đắp tổn thất năng lượng nhẹ bằng cách chọn cỡ mẫu lớn hơn một chút " .

" Quan điểm phổ biến dường như là thử nghiệm mẫu độc lập t mạnh mẽ một cách hợp lý, trong trường hợp có liên quan đến lỗi Loại I, đối với hình dạng dân số không phải là Gaussian miễn là (a) cỡ mẫu bằng hoặc gần như vậy, (b) mẫu kích thước khá lớn (Boneau, 1960, đề cập đến cỡ mẫu từ 25 đến 30) và (c) thử nghiệm có hai đầu thay vì một đầu. Lưu ý rằng khi các điều kiện này được đáp ứng và sự khác biệt giữa alpha danh nghĩa và alpha thực tế xảy ra, sự khác biệt thường là của một người bảo thủ hơn là bản chất tự do. "

Các tác giả nhấn mạnh các khía cạnh gây tranh cãi của chủ đề này, và tôi mong muốn được làm việc trên một số mô phỏng dựa trên phân phối logic bất thường như được đề cập bởi Giáo sư Mitchell. Tôi cũng muốn đưa ra một số so sánh Monte Carlo với các phương pháp không tham số (ví dụ: thử nghiệm MannTHER Whitney U). Vì vậy, đây là một công việc đang tiến triển ...

Mô phỏng:

Tuyên bố miễn trừ trách nhiệm: Điều gì sau đây là một trong những bài tập này trong việc "chứng minh bản thân" bằng cách này hay cách khác. Các kết quả không thể được sử dụng để thực hiện khái quát hóa (ít nhất là không phải bởi tôi), nhưng tôi đoán tôi có thể nói rằng hai mô phỏng MC (có thể không hoàn hảo) này dường như không quá nản lòng khi sử dụng thử nghiệm t trong các trường hợp mô tả.

Lỗi loại I:

$n=50$$\mu=0$$\sigma=1$

$5\%$$4.5\%$

Trong thực tế, biểu đồ mật độ của các thử nghiệm t thu được dường như trùng lặp với pdf thực tế của phân phối t:

Phần thú vị nhất là nhìn vào "mẫu số" của bài kiểm tra t, phần được cho là tuân theo phân phối chi bình phương:

Ở đây chúng tôi đang sử dụng độ lệch chuẩn chung, như trong mục Wikipedia này :

Và thật ngạc nhiên (hoặc không) cốt truyện cực kỳ không giống với pdf chi bình phương chồng chất:

Lỗi loại II và nguồn:

$10$$9$

$5\%$$0.024\%$$99\%$

Mã ở đây .