Tại sao tương quan không hữu ích khi một trong các biến là phân loại?

Đây là một chút kiểm tra ruột, xin vui lòng giúp tôi xem nếu tôi hiểu sai khái niệm này, và theo cách nào.

Tôi có một sự hiểu biết về chức năng của mối tương quan nhưng tôi cảm thấy hơi khó hiểu khi thực sự tự tin giải thích các nguyên tắc đằng sau sự hiểu biết chức năng đó.

Theo tôi hiểu, tương quan thống kê (trái ngược với cách sử dụng chung hơn của thuật ngữ này) là một cách để hiểu hai biến liên tục và cách mà chúng làm hoặc không có xu hướng tăng hoặc giảm theo cách tương tự.

Lý do bạn không thể chạy các mối tương quan trên, ví dụ, một biến liên tục và một biến phân loại là vì không thể tính được hiệp phương sai giữa hai, vì biến phân loại theo định nghĩa không thể mang lại giá trị trung bình và do đó thậm chí không thể nhập vào biến đầu tiên các bước phân tích thống kê.

Có đúng không?

Tương quan là hiệp phương sai chuẩn hóa , tức là hiệp phương sai của $x$ và $y$ chia cho độ lệch chuẩn của $x$ và $y$ . Hãy để tôi minh họa điều đó.

Nói một cách lỏng lẻo, số liệu thống kê có thể được tóm tắt là mô hình phù hợp với dữ liệu và đánh giá mô hình mô tả các điểm dữ liệu đó tốt như thế nào ( Kết quả = Mô hình + Lỗi ). Một cách để làm điều đó là tính tổng các sai lệch hoặc phần dư (res) từ mô hình:

$res= \sum(x_{i}-\bar{x})$

Nhiều tính toán thống kê được dựa trên điều này, bao gồm. hệ số tương quan (xem bên dưới).

Dưới đây là một tập dữ liệu mẫu được thực hiện R(phần dư được chỉ định là các dòng màu đỏ và giá trị của chúng được thêm bên cạnh chúng):

X <- c(8,9,10,13,15)  
Y <- c(5,4,4,6,8)

Bằng cách xem xét từng điểm dữ liệu riêng lẻ và trừ đi giá trị của nó khỏi mô hình (ví dụ: giá trị trung bình; trong trường hợp này X=11và Y=5.4), người ta có thể đánh giá độ chính xác của mô hình. Người ta có thể nói mô hình quá / đánh giá thấp giá trị thực tế. Tuy nhiên, khi tổng hợp tất cả các sai lệch so với mô hình, tổng sai số có xu hướng bằng 0 , các giá trị triệt tiêu lẫn nhau vì có các giá trị dương (mô hình đánh giá thấp một điểm dữ liệu cụ thể) và các giá trị âm (mô hình đánh giá quá cao một dữ liệu cụ thể điểm). Để giải quyết vấn đề này, các tổng của sai lệch được bình phương và bây giờ được gọi là tổng của bình phương ( $SS$ ):

$SS = \sum(x_i-\bar{x})(x_i-\bar{x}) = \sum(x_i-\bar{x})^2$

$n-1$$s^2$

$s^2 = \frac{SS}{n-1} = \frac{\sum(x_i-\bar{x})(x_i-\bar{x})}{n-1} = \frac{\sum(x_i-\bar{x})^2}{n-1}$

Để thuận tiện, căn bậc hai của phương sai mẫu có thể được lấy, được gọi là độ lệch chuẩn mẫu:

$s=\sqrt{s^2}=\sqrt{\frac{SS}{n-1}}=\sqrt{\frac{\sum(x_i-\bar{x})^2}{n-1}}$

Bây giờ, hiệp phương sai đánh giá xem hai biến có liên quan với nhau không. Một giá trị dương chỉ ra rằng khi một biến lệch khỏi giá trị trung bình, biến còn lại lệch theo cùng một hướng.

$cov_{x,y}= \frac{\sum(x_i-\bar{x})(y_i-\bar{y})}{n-1}$

$r$

$r=\frac{cov_{x,y}}{s_x s_y} = \frac{\sum(x_1-\bar{x})(y_i-\bar{y})}{(n-1) s_x s_y}$

In this, case the Pearson correlation coefficient is $r=0.87$, có thể được coi là một mối tương quan mạnh mẽ (mặc dù điều này cũng tương đối tùy thuộc vào lĩnh vực nghiên cứu). Để kiểm tra điều này, ở đây một âm mưu khác với Xtrên trục x và Ytrên trục y:

Câu chuyện dài quá, vâng, cảm giác của bạn là đúng nhưng tôi hy vọng câu trả lời của tôi có thể cung cấp một số bối cảnh.

Bạn đang (gần) đúng. Hiệp phương sai (và do đó cũng có mối tương quan) chỉ có thể được tính giữa các biến số. Điều đó bao gồm các biến liên tục nhưng cũng có các biến số rời rạc.

Các biến phân loại có thể được sử dụng để tính toán tương quan chỉ đưa ra một mã số hữu ích cho chúng, nhưng điều này không có khả năng có được lợi thế thực tế - có thể nó có thể hữu ích cho một số biến phân loại hai cấp, nhưng các công cụ khác có thể phù hợp hơn.

Hoàn toàn không có gì sai với tương quan điện toán trong đó một trong các biến là phân loại. Một mối tương quan tích cực mạnh mẽ sẽ ngụ ý rằng bật biến phân loại của bạn (hoặc tắt tùy thuộc vào quy ước của bạn) gây ra sự gia tăng trong phản ứng. Ví dụ, điều này có thể xảy ra khi tính toán hồi quy logistic trong đó các biến được phân loại: dự đoán khả năng bị đau tim do bệnh đi kèm như bệnh tiểu đường và bmi. Trong trường hợp này, BMI sẽ có mối tương quan rất mạnh với các cơn đau tim. Bạn sẽ kết luận rằng điều đó không hữu ích?