Mối tương quan của Pearson hoặc Spearman với dữ liệu không bình thường

Tôi nhận được câu hỏi này đủ thường xuyên trong công việc tư vấn thống kê của tôi, mà tôi nghĩ rằng tôi đã đăng nó ở đây. Tôi có một câu trả lời, được đăng dưới đây, nhưng tôi rất muốn nghe những gì người khác nói.

Câu hỏi: Nếu bạn có hai biến không được phân phối bình thường, bạn có nên sử dụng rho của Spearman cho tương quan không?

Mối tương quan của Pearson là thước đo mối quan hệ tuyến tính giữa hai biến ngẫu nhiên liên tục. Nó không giả định tính bình thường mặc dù nó giả định phương sai hữu hạn và hiệp phương sai hữu hạn. Khi các biến được chia đôi bình thường, mối tương quan của Pearson cung cấp một mô tả đầy đủ về liên kết.

Mối tương quan của Spearman áp dụng cho các cấp bậc và do đó cung cấp thước đo về mối quan hệ đơn điệu giữa hai biến ngẫu nhiên liên tục. Nó cũng hữu ích với dữ liệu thứ tự và rất mạnh đối với các ngoại lệ (không giống như tương quan của Pearson).

Sự phân bố của một trong hai hệ số tương quan sẽ phụ thuộc vào phân phối cơ bản, mặc dù cả hai đều bình thường không có triệu chứng vì định lý giới hạn trung tâm.

Đừng quên tau của Kendall ! Roger Newson đã lập luận cho tính ưu việt của Kendall τ _một trên tương quan Spearman r _S như một biện pháp cấp bậc dựa trên mối tương quan trong một bài báo có nội dung đầy đủ tại là tự do có sẵn trực tuyến:

Newson R. Các thông số đằng sau số liệu thống kê "không theo tỷ lệ": Kendall's tau, Somalia 'D và sự khác biệt trung bình . Tạp chí Stata 2002; 2 (1): 45-64.

Ông tham khảo (trên p47) Kendall & Gibbons (1990) khi lập luận rằng "... khoảng tin cậy cho Spearman r _S ít đáng tin cậy và ít diễn giải hơn so với khoảng tin cậy đối với τ -parameter của Kendall , nhưng Spearman r _S mẫu dễ dàng hơn nhiều được tính mà không có máy tính "(dĩ nhiên không còn quan trọng nữa). Thật không may, tôi không dễ dàng truy cập vào một bản sao của cuốn sách của họ:

Kendall, MG và JD Gibbons. 1990. Phương pháp tương quan xếp hạng . Tái bản lần thứ 5 Luân Đôn: Griffin.

Từ góc độ ứng dụng, tôi quan tâm nhiều hơn đến việc chọn cách tiếp cận tóm tắt mối quan hệ giữa hai biến theo cách phù hợp với câu hỏi nghiên cứu của tôi. Tôi nghĩ rằng việc xác định một phương pháp để nhận được các lỗi và giá trị p chuẩn chính xác là một câu hỏi nên đến thứ hai. Ngay cả khi bạn chọn không dựa vào tiệm cận, vẫn luôn có tùy chọn để bootstrap hoặc thay đổi các giả định phân phối.

Theo nguyên tắc chung, tôi thích sự tương quan của Pearson vì (a) nó thường phù hợp hơn với lợi ích lý thuyết của tôi; (b) nó cho phép so sánh trực tiếp hơn các kết quả trong các nghiên cứu, bởi vì hầu hết các nghiên cứu trong khu vực của tôi báo cáo mối tương quan của Pearson; và (c) trong nhiều cài đặt có sự khác biệt tối thiểu giữa các hệ số tương quan Pearson và Spearman.

Tuy nhiên, có những tình huống mà tôi nghĩ rằng mối tương quan của Pearson với các biến thô là sai lệch.

• Outliers: Outliers có thể có ảnh hưởng lớn đến tương quan của Pearson. Nhiều ngoại lệ trong cài đặt được áp dụng phản ánh các lỗi đo lường hoặc các yếu tố khác mà mô hình không có ý định khái quát hóa. Một lựa chọn là loại bỏ các ngoại lệ như vậy. Các ngoại lệ đơn biến không tồn tại với rho của Spearman vì mọi thứ đều được chuyển đổi thành các cấp bậc. Do đó, Spearman mạnh mẽ hơn.
• Các biến bị lệch cao: Khi tương quan các biến bị lệch, đặc biệt là các biến bị lệch, một bản ghi hoặc một số biến đổi khác thường làm cho mối quan hệ cơ bản giữa hai biến trở nên rõ ràng hơn (ví dụ: kích thước não theo trọng lượng cơ thể của động vật). Trong các cài đặt như vậy, có thể số liệu thô không phải là số liệu có ý nghĩa nhất. Spearman's rho có tác động tương tự như chuyển đổi bằng cách chuyển đổi cả hai biến thành thứ hạng. Từ quan điểm này, rho của Spearman có thể được coi là một cách tiếp cận nhanh chóng và bẩn thỉu (hoặc tích cực hơn, nó ít chủ quan hơn), theo đó bạn không phải suy nghĩ về các biến đổi tối ưu.

Trong cả hai trường hợp trên, tôi sẽ khuyên các nhà nghiên cứu nên xem xét các chiến lược điều chỉnh (ví dụ: biến đổi, loại bỏ / điều chỉnh ngoại lệ) trước khi áp dụng tương quan của Pearson hoặc sử dụng rho của Spearman.

Đã cập nhật

Câu hỏi yêu cầu chúng ta lựa chọn giữa phương pháp của Pearson và Spearman khi tính chất bình thường được đặt ra. Hạn chế cho mối quan tâm này, tôi nghĩ rằng bài viết sau đây nên thông báo quyết định của bất kỳ ai:

• Về ảnh hưởng của tính phi quy tắc đối với việc phân phối hệ số tương quan thời điểm sản phẩm mẫu (Kowalski, 1975)

Nó khá hay và cung cấp một cuộc khảo sát về các tài liệu quan trọng, kéo dài hàng thập kỷ, về chủ đề này - bắt đầu từ "các bề mặt bị cắt xén và biến dạng" của Pearson và sự phân phối mạnh mẽ của . Ít nhất một phần của bản chất mâu thuẫn của "sự thật" là phần lớn công việc này đã được thực hiện trước khi có sức mạnh tính toán - điều phức tạp vì loại hình phi quy tắc phải được xem xét và khó kiểm tra nếu không có mô phỏng.$r$

Phân tích Kowalski của kết luận rằng sự phân bố của là không mạnh mẽ trong sự hiện diện của không bình thường và đề nghị thủ tục thay thế. Toàn bộ bài viết khá nhiều thông tin và khuyến nghị nên đọc, nhưng bỏ qua phần kết luận rất ngắn ở phần cuối của bài viết để tóm tắt.$r$

Nếu được yêu cầu lựa chọn giữa một trong những Spearman và Pearson khi tính quy phạm bị vi phạm, thì phương án thay thế miễn phí phân phối đáng để ủng hộ, tức là phương pháp của Spearman.

Trước đây ..

Mối tương quan của Spearman là một thước đo tương quan dựa trên cấp bậc; nó không tham số và không dựa trên giả định về tính quy tắc.

Phân phối lấy mẫu cho mối tương quan của Pearson không giả định tính bình thường; đặc biệt điều này có nghĩa là mặc dù bạn có thể tính toán nó, các kết luận dựa trên thử nghiệm quan trọng có thể không đúng.

Như Rob chỉ ra trong các ý kiến, với mẫu lớn thì đây không phải là vấn đề. Tuy nhiên, với các mẫu nhỏ, khi tính bình thường bị vi phạm, mối tương quan của Spearman nên được ưu tiên.

Cập nhật thông tin về các bình luận và câu trả lời, đối với tôi, dường như điều này làm sôi sục cuộc tranh luận về các tham số không tham số so với thông số thông thường. Phần lớn tài liệu, ví dụ như trong thống kê sinh học, không đề cập đến các mẫu lớn. Tôi thường không ung dung khi dựa vào tiệm cận. Có lẽ nó hợp lý trong trường hợp này, nhưng điều đó không dễ thấy đối với tôi.