Tại sao các hồi quy không liên quan trở nên có ý nghĩa thống kê trong các mẫu lớn?

Tôi đang cố gắng để hiểu rõ hơn về ý nghĩa thống kê, kích thước hiệu ứng và những thứ tương tự.

Tôi có một nhận thức (có lẽ là sai) rằng ngay cả các hồi quy không liên quan thường trở nên có ý nghĩa thống kê trong các mẫu lớn . Bởi không liên quan tôi có nghĩa là không có giải thích về vấn đề chủ đề tại sao bộ hồi quy nên liên quan đến biến phụ thuộc. Do đó, sự không liên quan trong bài này là một khái niệm chủ đề thuần túy và không phải là một khái niệm thống kê.

Tôi biết rằng một biến hồi quy sẽ có ý nghĩa thống kê với một mẫu đủ lớn trừ khi hiệu ứng dân số chính xác bằng không (như được thảo luận ở đây ). Do đó, một hồi quy không liên quan xuất hiện có ý nghĩa thống kê trong một mẫu lớn có kích thước hiệu ứng khác không trong dân số.

Câu hỏi:

1. Làm thế nào mà một hồi quy không liên quan hóa ra có ý nghĩa thống kê?
2. Tôi có nên tìm giải thích về vấn đề chủ đề (tức là cố gắng từ chối không liên quan) hay đây là một hiện tượng thống kê?

Đây là phần tiếp theo của một bài đăng mà tôi đã cố gắng làm rõ cách chữa hiệu ứng này. Trong khi đó, ở đây tôi đang hỏi tại sao nó xảy ra ở nơi đầu tiên.

Câu hỏi:

Làm thế nào mà một hồi quy không liên quan hóa ra có ý nghĩa thống kê?

Tôi nghĩ thật hữu ích khi nghĩ về những gì xảy ra khi kích thước mẫu của bạn tiếp cận với dân số. Kiểm tra ý nghĩa có nghĩa là cung cấp cho bạn một ý tưởng về việc không tồn tại một hiệu ứng trong dân số. Đây là lý do tại sao khi làm việc với dữ liệu điều tra dân số (khảo sát dân số), kiểm tra ý nghĩa là vô nghĩa (bởi vì, bạn đang cố gắng khái quát hóa cái gì?).

Với ý nghĩ đó, "một hiệu ứng trong dân số" nghĩa là gì? Nó đơn giản có nghĩa là bất kỳ mối quan hệ giữa các biến trong dân số, bất kể nhỏ đến mức nào (có thể là chênh lệch 1 điểm hoặc 1 người), ngay cả khi mối quan hệ đó là do cơ hội và ngẫu nhiên trong vũ trụ.

Do đó, khi mẫu của bạn tiếp cận với quy mô dân số, các thử nghiệm quan trọng sẽ ngày càng ít có ý nghĩa bởi vì bất kỳ sự khác biệt nào cũng sẽ "có ý nghĩa thống kê". Những gì bạn sẽ quan tâm hơn sau đó là kích thước hiệu ứng - tương tự như "thực tế có ý nghĩa".

Tôi có nên tìm giải thích về vấn đề chủ đề (tức là cố gắng từ chối không liên quan) hay đây là một hiện tượng thống kê?

Đó là một hiện tượng - bạn nên xem kích thước hiệu ứng.

Ngay cả khi kích thước mẫu của bạn không tiếp cận với dân số của bạn, các hiệu ứng nhỏ sẽ trở nên đáng kể trong các mẫu lớn. Đây là hệ quả của ý nghĩa thống kê có nghĩa là gì:

Nếu, trong dân số mà mẫu này được lấy, giả thuyết khống là đúng, thì có phải (XX%) có khả năng chúng ta sẽ có được một thống kê kiểm tra ít nhất là lớn như vậy trong một mẫu có kích thước chúng ta có không?

Nếu câu hỏi của bạn là điều gì đó về tất cả mọi người trên Trái đất, thì nếu bạn lấy một mẫu 1.000.000 (không gần 7.000.000.000) thì các hiệu ứng rất nhỏ sẽ rất đáng kể, bởi vì rất khó tìm thấy số liệu thống kê thử nghiệm như vậy trong các mẫu lớn khi null là đúng .

Có rất nhiều vấn đề với thử nghiệm quan trọng, được thảo luận ở nhiều nơi. Đây là một trong số họ. "Cách chữa" là xem xét kích thước hiệu ứng và khoảng tin cậy.

Tôi đã mượn một số cái nhìn sâu sắc từ @QxV để đưa ra lời giải thích về sự hiện diện của hiệu ứng dân số ngay cả khi kiến ​​thức về chủ đề cho thấy không có hiệu ứng như vậy.

$y$$x$$y$$x$$y_{realized}$$x_{realized}$$P(y_{realized} \perp x_{realized})=0$

Khi một hiệu ứng dân số tồn tại, đó là vấn đề về kích thước mẫu khi chúng ta sẽ phát hiện ra nó trong mẫu và khi nào nó sẽ trở nên có ý nghĩa thống kê.

Ngoài các câu trả lời xuất sắc đã được đăng, tôi sẽ thử từ một quan điểm khác. Tất cả các mô hình là gần đúng, trong một số ý nghĩa ... Nhìn vào một số mô hình hồi quy và một số biến không liên quan là đáng kể. Điều gì có thể giải thích nó?

1. Có lẽ điều đó không liên quan, sự đồng thuận khoa học ngày nay về vấn đề đó chỉ là sai . Ngoài ra:

2. Nó có thể là một stand-in hoặc proxy cho một số biến bị bỏ qua có liên quan và tương quan với biến không liên quan.

3. Một số biến có liên quan, được bao gồm tuyến tính trong mô hình, có thể hoạt động phi tuyến tính và biến không liên quan của bạn có thể là điểm thay thế cho phần đó của biến có liên quan.

4. Một số tương tác giữa hai biến có liên quan là quan trọng, nhưng không được bao gồm trong mô hình. Biến không liên quan của bạn có thể là điểm thay thế cho tương tác bị bỏ qua đó.

5. Biến không liên quan có thể chỉ tương quan rất cao với một số biến quan trọng, dẫn đến các hệ số tương quan nghịch. Điều này có thể quan trọng đặc biệt nếu có lỗi đo lường trong các biến này.

6. Có thể có một số quan sát với đòn bẩy rất cao, dẫn đến những ước tính kỳ lạ.

Chắc chắn những người khác ... một điểm quan trọng là mô hình hồi quy tuyến tính có thể là một xấp xỉ rất tốt với một mẫu nhỏ, chỉ các hiệu ứng lớn sẽ là đáng kể. Nhưng một mẫu lớn hơn sẽ dẫn đến phương sai thấp hơn, nhưng nó không thể làm giảm độ lệch do xấp xỉ . Vì vậy, với các mẫu lớn hơn, những bất cập của mô hình trở nên rõ ràng và cuối cùng sẽ chiếm ưu thế so với phương sai.

Các hồi quy không liên quan không trở nên có ý nghĩa thống kê khi tăng kích thước mẫu. Hãy thử đoạn mã sau trong R.

y <- rnorm (10000000)

x <- rnorm (10000000)

tóm tắt (lm (y ~ x))