Người ta có thể bỏ dữ liệu từ nghiên cứu vì nó không đáng kể?

Tôi đã gặp câu này trong khi đọc một bài viết trên sciencemag.org .

Cuối cùng, các câu trả lời từ chỉ 7600 nhà nghiên cứu ở 12 quốc gia đã được đưa vào vì dữ liệu còn lại không được coi là có ý nghĩa thống kê.

Đây có phải là một cách thích hợp để làm nghiên cứu? Để lại kết quả vì chúng không được coi là có ý nghĩa thống kê?

Trong báo cáo được trích dẫn trong bình luận của người viết, nó nói ở trang 104 [pg 114 trong pdf]:

Cuộc khảo sát đã thành công trong việc kích hoạt sự tham gia của khoảng 8,900 ứng cử viên tiến sĩ từ hơn 30 quốc gia ...

Sau đó, trải dài các trang 104-105, nó nói:

Trong khi tiến hành các quy trình làm sạch dữ liệu, nhóm chuyên gia khảo sát Eurodoc đã quyết định tiến hành phân tích thử nghiệm sức mạnh. Dựa trên giả định của các bảng câu hỏi hoàn thành đầy đủ sẽ dẫn đến phân phối đa bình thường, một bài kiểm tra sức mạnh để ước tính khoảng tin cậy đã được sử dụng. Điều này đã được thực hiện để kiểm tra tính chính xác của dữ liệu. Nó đã được quyết định chấp nhận tối đa mức lỗi 6% ở khoảng tin cậy 95%. Mất 16% kích thước lấy mẫu dẫn đến mẫu của 12 quốc gia tham gia với 7.600 người tham gia.

Vì vậy, nó không thực sự rõ ràng chính xác tại sao mất 16% trong mẫu, nhưng giả định về các phản ứng không đầy đủ có thể đúng. (Và bạn có thể thấy lý do tại sao các phóng viên đã nhầm lẫn.)

Câu đó không thực sự có ý nghĩa và rõ ràng là có lỗi.

Dữ liệu không thể có ý nghĩa thống kê hoặc không đáng kể. Chỉ các mối quan hệ giữa dữ liệu, sản phẩm của các bài kiểm tra thống kê, có thể được nói về các điều khoản này.

Nếu câu hỏi là: Chúng ta có thể bỏ dữ liệu khỏi các phân tích của mình không vì việc đưa vào dữ liệu đó có nghĩa là chúng ta không thể từ chối giả thuyết khống? Câu trả lời là - rõ ràng, tôi hy vọng! - không . Thông điệp bạn đã trích dẫn là một báo cáo tin tức, không phải là một bài báo khoa học. Nếu nó là một bài báo đã được xem xét, nó sẽ không bao giờ có được.

Có lẽ, dữ liệu không được bao gồm bởi vì có những lý do chính đáng để không bao gồm những dữ liệu đó. Có lẽ, như những người khác đã đề xuất, dữ liệu loại trừ không đầy đủ hoặc được thu thập bằng các phương pháp khác nhau hoặc không thể so sánh được.

Không.

Tôi nghi ngờ phóng viên có ý nói rằng các cá nhân khác bị bỏ rơi vì các cuộc khảo sát không đầy đủ hoặc không nhất quán trong nội bộ.

Không, nhưng các phóng viên có thể sử dụng thuật ngữ kỹ thuật hoàn toàn vô nghĩa.