Có phải hầu hết các mối tương quan được công bố trong khoa học xã hội là không đáng tin cậy và phải làm gì về nó? [đóng cửa]

9

Đã đóng cửa . Câu hỏi này dựa trên ý kiến . Nó hiện không chấp nhận câu trả lời.

Bạn muốn cải thiện câu hỏi này? Cập nhật câu hỏi để có thể trả lời bằng sự kiện và trích dẫn bằng cách chỉnh sửa bài đăng này .

Đóng cửa 2 năm trước .

Mặc dù các nỗ lực quan trọng nhưng đánh cắp các "nỗ lực" của các cá nhân để tiết lộ thực tiễn của các tạp chí săn mồi , một mối đe dọa cơ bản và lớn hơn xuất hiện trong bóng tối của nghiên cứu khoa học xã hội ( mặc dù chắc chắn có nhiều vấn đề mà các nhà nghiên cứu cần giải quyết ). Để đi thẳng vào vấn đề, theo một quan điểm, chúng tôi có thể không thể tin tưởng các hệ số tương quan có nguồn gốc từ các mẫu nhỏ hơn 250 .

Người ta sẽ khó có thể tìm thấy một bài kiểm tra dựa vào việc suy ra sự hiện diện, phương hướng và sức mạnh của mối liên hệ giữa các biện pháp trong khoa học xã hội so với hệ số tương quan tin cậy. Tuy nhiên, người ta sẽ không khó để tìm thấy các báo cáo được đánh giá ngang hàng đưa ra tuyên bố mạnh mẽ về mối quan hệ giữa hai cấu trúc dựa trên các hệ số tương quan được tính toán từ dữ liệu có ít hơn 250 trường hợp.

Với cuộc khủng hoảng sao chép hiện nay phải đối mặt với khoa học xã hội (xem liên kết thứ hai ở trên), chúng ta nên xem báo cáo này như thế nào về việc ổn định các hệ số tương quan chỉ ở các mẫu lớn (ít nhất là theo một số tiêu chuẩn lĩnh vực khoa học xã hội)? Đây có phải là một vết nứt khác trong bức tường của nghiên cứu khoa học xã hội được đánh giá ngang hàng, hay nó là một vấn đề tương đối tầm thường đã bị thổi phồng trong bài trình bày của nó?

Vì không có khả năng là một câu trả lời đúng duy nhất cho câu hỏi này, tôi hy vọng thay vào đó sẽ tạo ra một chủ đề trong đó các tài nguyên về câu hỏi này có thể được chia sẻ, cân nhắc và tranh luận (tất nhiên là lịch sự và tôn trọng).

correlation methodology publication-bias

— Matt Barstead
nguồn

Tôi nhận ra rằng đây là một câu hỏi dựa trên ý kiến và tuân theo các hướng dẫn chung của trang web. Thực tế là một loạt người đến trang web này để hiểu rõ hơn về thống kê, bao gồm hiểu rõ hơn về những cạm bẫy vốn có trong các kỹ thuật mà họ tìm cách sử dụng. Hy vọng của tôi là trong việc đặt ra câu hỏi rộng lớn này, tôi có thể giúp với mục tiêu mơ hồ được thừa nhận này. Học cách tính sai số chuẩn là một chuyện. Tìm hiểu ý nghĩa của việc sử dụng nó khi đưa ra quyết định dựa trên bằng chứng là một quyết định khác.

— Matt Barstead

Điều tồi tệ hơn nữa là cách những trường hợp "250 bắt buộc" được chọn. Tôi thấy ngày càng thường xuyên rằng ai đó đăng một lời cầu xin để hoàn thành một cuộc khảo sát mà họ cần cho một bài báo hoặc cho một luận án, trên một trang web truyền thông xã hội. Hoàn thành với chủ đề khảo sát. Hoàn toàn không biết làm thế nào poeple sẽ tự chọn. Tạm biệt các mẫu ngẫu nhiên, vì các thành viên trong nhóm xã hội của ai đó không phải là ngẫu nhiên, thường thuộc về các nhóm ý thức hệ / chính trị / kinh tế tương tự, và cũng tự chọn dựa trên mức độ quan tâm của họ trong chủ đề. Có nghĩa là "90% ủng hộ X" , chỉ vì những người thờ ơ không tình nguyện.

— vsz

7

$\rho$ $L = 0.3$ $\rho \ne 0$ $|\rho| > L$ $\rho$ $L$ $-L$

Tất nhiên, chỉ cần thêm khoảng tin cậy và sử dụng các thử nghiệm có ý nghĩa sẽ không giải quyết được quá nhiều vấn đề (như thiết kế lấy mẫu xấu, bỏ qua việc xem xét các yếu tố gây nhiễu, v.v.). Nhưng về cơ bản là miễn phí. Tôi đoán thậm chí SPSS có thể tính toán chúng!

— Michael M
nguồn

1

Thật vậy, nếu SPSS có thể làm điều đó ... Trong một lưu ý nghiêm trọng hơn, tôi nghĩ rằng ý tưởng đặt sự nhấn mạnh vào các TCTD có ý nghĩa rất lớn. Nó sẽ giúp với những nỗ lực phân tích tổng hợp là tốt. Ngoài ra, đối với tôi, dường như việc báo cáo các TCTD thay vì giá trị p là một điều gì đó gần đúng với cách tiếp cận Bayes. Tôi luôn nghĩ rằng các mô hình Bayes có xu hướng "cảm thấy" trung thực hơn ở chỗ họ tập trung vào việc mô hình hóa phân phối ước tính thay vì tìm ước tính có khả năng tối đa cho một tham số dân số xuất phát từ một mẫu duy nhất.

— Matt Barstead

4

Như Michael M lưu ý , độ tin cậy của các mối tương quan được báo cáo - hoặc của bất kỳ ước tính nào khác - có thể được đánh giá bằng các khoảng tin cậy. Ở một mức độ nào đó, đó là. Các TCTD sẽ quá hẹp nếu các mô hình được chọn sau khi thu thập dữ liệu, mà tôi ước tính sẽ xảy ra khoảng 95% thời gian trong các ngành khoa học xã hội (mà tôi thành thật nói rằng tôi hoàn toàn đoán được tôi).

Biện pháp khắc phục có hai mặt:

Chúng ta đang nói về một " cuộc khủng hoảng nhân rộng ". Do đó, các bản sao thất bại cho chúng ta biết rằng hiệu ứng ban đầu có lẽ chỉ là nhiễu ngẫu nhiên. Chúng tôi cần phải làm (và tài trợ, và viết lên, và gửi, và chấp nhận) nhiều bản sao hơn. Các nghiên cứu sao chép đang dần đạt được sự tôn trọng, và đó là một điều tốt.
$n$

— Stephan Kolass
nguồn

@Stephen, câu hỏi: "sao chép" nghĩa là gì, một người sử dụng cùng một dữ liệu hoặc dữ liệu khác nhau để sao chép nghiên cứu ban đầu? Có sự khác biệt giữa nhân rộng và lặp lại?

— dự báo

Theo quan điểm đầu tiên của bạn, tôi nghĩ rằng vài năm qua đã chứng kiến sự chuyển động thực sự trên mặt trận nhân rộng. Một chương sắp tới cung cấp một số lời khuyên cho các nhà nghiên cứu cảm xúc mà tôi nghĩ dịch tốt cho một số lĩnh vực trong khoa học hành vi.

— Matt Barstead

@forecaster: một bản sao nên được thực hiện với dữ liệu mới được thu thập độc lập, nếu không bạn sẽ không học được gì mới . "Lặp lại" không phải là một thuật ngữ tôi đã đi qua. Tất nhiên, luôn có câu hỏi về việc liệu ấn phẩm gốc có đủ chi tiết để người khác thực sự có thể lặp lại phân tích hay không.

— Stephan Kolassa