Được phép sử dụng trung bình trên một tập dữ liệu để cải thiện mối tương quan?

Tôi có một tập dữ liệu với một biến phụ thuộc và một biến độc lập. Cả hai không phải là một chuỗi thời gian. Tôi có 120 quan sát. Hệ số tương quan là 0,43

Sau khi tính toán này, tôi đã thêm một cột cho cả hai biến với trung bình cho mỗi 12 quan sát, dẫn đến 2 cột mới với 108 quan sát (cặp). Hệ số tương quan của các cột này là 0,77

Có vẻ như tôi đã cải thiện mối tương quan theo cách này. Điều này có được phép làm không? Tôi đã tăng sức mạnh giải thích của biến độc lập bằng cách sử dụng trung bình?

Chúng ta hãy nhìn vào hai vectơ, lần đầu tiên

    2 6 2 6 2 6 2 6 2 6 2 6

và vectơ thứ hai

   6 2 6 2 6 2 6 2 6 2 6 2

Tính toán tương quan Pearson bạn sẽ nhận được

cor(a,b)
[1] -1

Tuy nhiên, nếu bạn lấy trung bình của các cặp liên tiếp cho các giá trị thì cả hai vectơ đều giống nhau. Các vectơ giống hệt nhau có tương quan 1.

  4 4 4 4 4 4  

Ví dụ đơn giản này minh họa một nhược điểm của phương pháp của bạn.

Chỉnh sửa : Để giải thích tổng quát hơn: Hệ số tương quan được tính theo cách sau.

$\frac{E[(X-\mu_X)(Y-\mu_Y)]}{\sigma_X\ \sigma_Y}$

$X$$Y$$X$$\mu_X$$Y$$\mu_Y$

Tính trung bình có thể hấp dẫn hoặc thuận tiện. Nó cũng có thể là một nguồn của sự lừa dối, ở sự lừa dối tồi tệ nhất, vì vậy hãy cẩn thận ngay cả khi có một lý do rõ ràng để tính trung bình.

$1$

Có một số tình huống trong đó tính trung bình có thể có ý nghĩa. Ví dụ: nếu các biến thể theo mùa ít hoặc không quan tâm, thì việc tính trung bình vào các giá trị hàng năm sẽ tạo ra một tập dữ liệu giảm trong đó bạn có thể tập trung vào các giá trị hàng năm đó.

Trong các lĩnh vực khác nhau, các nhà nghiên cứu có thể quan tâm đến mối tương quan ở các quy mô khá khác nhau, ví dụ như giữa thất nghiệp và tội phạm đối với cá nhân, hạt, tiểu bang, quốc gia (thay thế bất kỳ thuật ngữ nào có ý nghĩa nhất).

Sự quan tâm, và thường cũng là một nguồn chính của những rắc rối suy luận, là trong việc diễn giải những gì đang diễn ra ở các quy mô hoặc cấp độ khác nhau. Ví dụ, mối tương quan cao giữa tỷ lệ thất nghiệp và tỷ lệ tội phạm đối với các khu vực không nhất thiết có nghĩa là người thất nghiệp có xu hướng trở thành tội phạm cao hơn; bạn cần dữ liệu về các cá nhân để rõ ràng về điều đó. Việc cung cấp dữ liệu có thể gây khó xử tối đa trong dữ liệu chỉ có sẵn ở quy mô ít thú vị nhất, có lẽ là vấn đề kinh tế hoặc bảo mật.

Tôi cũng lưu ý rằng nhiều phép đo ở vị trí đầu tiên thường tính trung bình trong các khoảng thời gian nhỏ và / hoặc khoảng không gian nhỏ, vì vậy dữ liệu thường đến trung bình trong mọi trường hợp.