Tại sao tăng kích thước mẫu làm giảm phương sai (lấy mẫu)?

Bức tranh lớn:

Tôi đang cố gắng hiểu làm thế nào tăng kích thước mẫu làm tăng sức mạnh của một thử nghiệm. Các slide của giảng viên của tôi giải thích điều này bằng một bức tranh gồm 2 bản phân phối bình thường, một cho giả thuyết không và một cho giả thuyết thay thế và một ngưỡng quyết định c giữa chúng. Họ lập luận rằng việc tăng kích thước mẫu sẽ làm giảm phương sai và do đó gây ra sự tổn thương cao hơn, làm giảm diện tích chia sẻ dưới các đường cong và do đó xác suất xảy ra lỗi loại II.

Bức tranh nhỏ:

Tôi không hiểu làm thế nào một cỡ mẫu lớn hơn sẽ làm giảm phương sai.
Tôi giả sử bạn chỉ cần tính toán phương sai mẫu và sử dụng nó làm tham số trong phân phối bình thường.

Tôi đã thử:

• googling , nhưng hầu hết các câu trả lời được chấp nhận có 0 upvote hoặc chỉ là ví dụ
• suy nghĩ : Theo luật số lượng lớn, mọi giá trị cuối cùng sẽ ổn định xung quanh giá trị có thể xảy ra theo phân phối bình thường mà chúng ta giả định. Và phương sai do đó sẽ hội tụ đến phương sai của phân phối chuẩn giả định của chúng tôi. Nhưng phương sai của phân phối bình thường đó là gì và nó có phải là một giá trị tối thiểu tức là chúng ta có thể chắc chắn phương sai mẫu của chúng ta giảm xuống giá trị đó không?

Độ lệch chuẩn của trung bình nhỏ hơn độ lệch chuẩn của các quan sát riêng lẻ. [Ở đây tôi sẽ giả định các quan sát phân phối độc lập với phương sai dân số hữu hạn; một cái gì đó tương tự có thể được nói nếu bạn thư giãn trong hai điều kiện đầu tiên.]

Đó là hệ quả của một thực tế đơn giản là độ lệch chuẩn của tổng hai biến ngẫu nhiên nhỏ hơn tổng độ lệch chuẩn (chỉ có thể bằng nhau khi hai biến tương quan hoàn hảo).

Trong thực tế, khi bạn đang xử lý các biến ngẫu nhiên không tương quan, chúng ta có thể nói một điều cụ thể hơn: phương sai của một tổng số phương sai là tổng phương sai của chúng.

$n$

$n$

$\sigma_{\bar{X}}=\sigma/\sqrt{n}$

Vì vậy, khi bạn thêm nhiều dữ liệu, bạn sẽ có được ước tính ngày càng chính xác về phương tiện nhóm. Một hiệu ứng tương tự được áp dụng trong các vấn đề hồi quy.

Vì chúng tôi có thể có được ước tính trung bình chính xác hơn bằng cách tăng kích thước mẫu, chúng tôi có thể dễ dàng phân biệt các phương tiện gần nhau hơn - mặc dù các phân phối trùng nhau khá nhiều, bằng cách lấy kích thước mẫu lớn, chúng tôi vẫn có thể ước tính dân số có nghĩa là đủ chính xác để nói rằng họ không giống nhau.

Độ biến thiên co lại khi N tăng là độ biến thiên của giá trị trung bình mẫu, thường được biểu thị bằng sai số chuẩn. Hay nói cách khác, độ chắc chắn của tính chính xác của giá trị trung bình mẫu đang tăng lên.

Hãy tưởng tượng bạn chạy một thí nghiệm trong đó bạn thu thập 3 nam và 3 nữ và đo chiều cao của họ. Làm thế nào chắc chắn rằng bạn rằng chiều cao trung bình của mỗi nhóm là trung bình thực sự của các quần thể nam và nữ riêng biệt? Tôi nên nghĩ rằng bạn sẽ không chắc chắn chút nào. Bạn có thể dễ dàng thu thập các mẫu mới của 3 và tìm phương tiện mới cách những mẫu đầu tiên vài inch. Khá nhiều thí nghiệm lặp đi lặp lại như thế này thậm chí có thể khiến phụ nữ bị phát âm cao hơn nam giới vì phương tiện sẽ thay đổi rất nhiều. Với N thấp, bạn không có nhiều sự chắc chắn về giá trị trung bình từ mẫu và nó thay đổi rất nhiều trên các mẫu.

Bây giờ hãy tưởng tượng 10.000 quan sát trong mỗi nhóm. Sẽ rất khó để tìm ra 10.000 mẫu mới có nghĩa là khác nhau nhiều. Chúng sẽ ít biến đổi hơn và bạn sẽ chắc chắn hơn về độ chính xác của chúng.

$\sigma$$\sqrt n$

Đây là một mô phỏng nhỏ trong R để chứng minh mối quan hệ giữa một lỗi tiêu chuẩn và độ lệch chuẩn của phương tiện của nhiều bản sao của thí nghiệm ban đầu. Trong trường hợp này, chúng ta sẽ bắt đầu với trung bình dân số là 100 và độ lệch chuẩn là 15.

mu <- 100
s <- 50
n <- 5
nsim <- 10000 # number of simulations
# theoretical standard error
s / sqrt(n)
# simulation of experiment and the standard deviations of their means
y <- replicate( nsim, mean( rnorm(n, mu, s) ) )
sd(y)

Lưu ý cách độ lệch chuẩn cuối cùng gần với sai số chuẩn lý thuyết. Bằng cách chơi với biến n ở đây, bạn có thể thấy số đo biến thiên sẽ nhỏ hơn khi n tăng.

[Bên cạnh đó, sự suy yếu trong các biểu đồ không thực sự thay đổi (giả sử chúng là các bản phân phối bình thường). Giảm phương sai không làm thay đổi sự suy yếu nhưng phân phối sẽ trông hẹp hơn. Cách duy nhất để kiểm tra trực quan các thay đổi kurtosis là đặt các bản phân phối theo cùng một tỷ lệ.]

Nếu bạn muốn biết trọng lượng trung bình của công dân Mỹ là bao nhiêu, thì trong trường hợp lý tưởng, bạn sẽ ngay lập tức yêu cầu mọi công dân bước lên bàn cân và thu thập dữ liệu. Bạn sẽ nhận được một câu trả lời chính xác . Điều này rất khó khăn, vì vậy có lẽ bạn có thể khiến một vài công dân bước lên bàn cân, tính trung bình và có được ý tưởng về mức trung bình của dân số. Bạn có mong đợi rằng trung bình mẫu chính xác bằng trung bình dân số không? Tôi hy vọng là không.

Bây giờ, bạn có đồng ý rằng nếu bạn ngày càng có nhiều người hơn, đến một lúc nào đó chúng ta sẽ tiến gần hơn đến dân số không? Chúng ta nên, phải không? Cuối cùng, hầu hết mọi người chúng ta có thể có là toàn bộ dân số, và ý nghĩa của nó là những gì chúng ta đang tìm kiếm. Đây là trực giác.

Đây là một thí nghiệm lý tưởng hóa. Trong thực tế, có những biến chứng. Tôi sẽ cho hai bạn.

• Hãy tưởng tượng rằng dữ liệu đến từ một bản phân phối Cauchy . Bạn có thể tăng mẫu của bạn vô hạn, nhưng phương sai sẽ không giảm. Phân phối này không có phương sai dân số. Trong thực tế, nói đúng ra, nó cũng không có ý nghĩa mẫu. Thật đáng buồn. Thật đáng ngạc nhiên, phân phối này là khá thực tế, nó xuất hiện ở đây và ở đó trong vật lý.
• Hãy tưởng tượng rằng bạn đã quyết định tiếp tục với một nhiệm vụ xác định trọng lượng trung bình của công dân Mỹ. Vì vậy, bạn lấy quy mô của bạn và đi từ nhà đến nhà. Điều này sẽ đưa bạn nhiều năm. Vào thời điểm bạn thu thập hàng triệu quan sát, một số công dân trong bộ dữ liệu của bạn sẽ thay đổi trọng lượng rất nhiều, một số đã chết, ... Điểm quan trọng là việc tăng kích thước mẫu trong trường hợp này không giúp ích gì cho bạn.

Tôi tin rằng Luật số lớn giải thích tại sao phương sai (sai số chuẩn) giảm khi kích thước mẫu tăng. Bài viết của Wikipedia về điều này nói:

Theo luật, trung bình của các kết quả thu được từ một số lượng lớn các thử nghiệm phải gần với giá trị dự kiến ​​và sẽ có xu hướng trở nên gần gũi hơn khi nhiều thử nghiệm được thực hiện.

Về mặt Định lý giới hạn trung tâm:

Khi vẽ một mẫu ngẫu nhiên, mẫu càng lớn thì giá trị trung bình của mẫu sẽ càng gần với trung bình dân số (trong đoạn trích dẫn trên, hãy nghĩ "số lượng thử nghiệm" là "cỡ mẫu", vì vậy mỗi "thử nghiệm" là một quan sát ). Do đó, khi vẽ một số lượng mẫu ngẫu nhiên vô hạn, phương sai của phân phối mẫu sẽ thấp hơn kích thước của mỗi mẫu lớn hơn.

Nói cách khác, hình dạng chuông sẽ hẹp hơn khi mỗi mẫu lớn thay vì nhỏ, bởi vì theo cách đó, mỗi mẫu có nghĩa sẽ gần với tâm của chuông hơn.

Khi kích thước mẫu tăng, phương sai mẫu (biến thiên giữa các quan sát) tăng nhưng phương sai của giá trị trung bình mẫu (sai số chuẩn) giảm và do đó độ chính xác tăng.