Dữ liệu binning có hợp lệ trước tương quan Pearson không?

Có thể chấp nhận dữ liệu bin, tính giá trị trung bình của các thùng và sau đó rút ra hệ số tương quan Pearson trên cơ sở các phương tiện này không? Có vẻ như một quy trình hơi khó hiểu đối với tôi (nếu bạn nghĩ dữ liệu là mẫu dân số) thì sự phân tán của các phương tiện này sẽ là lỗi tiêu chuẩn của giá trị trung bình và do đó rất chặt chẽ nếu lớn. Vì vậy, bạn có thể sẽ nhận được một hệ số tương quan tốt hơn nhiều so với từ dữ liệu chính, và điều đó có vẻ sai. Mặt khác, mọi người thường sao chép trung bình các phép đo trước khi tính toán tương quan không khác nhau lắm.$n$

Không hoàn toàn giống như câu hỏi của bạn, nhưng trên một ghi chú liên quan, tôi nhớ đã đọc một bài báo trước đây (tạp chí The Statistician hoặc Chance của Mỹ, vào khoảng giữa năm 2000 và 2003) cho thấy rằng đối với bất kỳ tập dữ liệu nào về 2 biến số đều đẹp Nhiều điều không đáng lo ngại, bạn có thể tìm cách để biến biến "dự đoán", sau đó lấy trung bình của biến trả lời trong mỗi thùng và tùy thuộc vào cách bạn thực hiện việc tạo thùng cho thấy mối quan hệ tích cực hoặc mối quan hệ tiêu cực trong bảng hoặc âm mưu đơn giản.

Chúng ta hãy xem xét hai biến ( , Y i ). Khi bạn nói bin dữ liệu, và bạn "bin" trên X i , làm bạn có nghĩa là lặp lại phép đo cho chính xác giống X i để có được tương ứng Y ' i giá trị? Nếu bạn lặp lại các phép đo như thế này, thì lỗi trên mức trung bình sẽ giảm với $X_i$$Y_i$$X_i$$X_i$$Y_i'$ , và tôi nghĩ bạn có thể tự do làm bất cứ điều gì bạn muốn với nó. Chỉ cần đảm bảo rằng bạn đang sử dụng hệ số tương quan trọng số nếu bạn xem xét các điểm dữ liệu với các thanh lỗi rất khác nhau.$\sqrt{n}$

Bây giờ chúng ta hãy nói rằng bạn đang không lặp lại phép đo của , nhưng thay vì xem xét X i ± δ và tương ứng Y i ± δ ' và di chuyển chuột trên δ và có được giá trị binned trong δ . Tôi nghĩ trong tình huống này, giải pháp sẽ phụ thuộc vào mối quan hệ giữa kích thước của thùng, sai số trên phép đo và độ dốc của mối tương quan. Tôi hy vọng rằng nếu cả hai δ và nhỏ, tình hình sẽ tương tự như đoạn trước. Mặt khác, nó có thể có lợi cho bin hoặc không; nó sẽ thay đổi kết quả vì cov ($X_i$$X_i\pm\delta$$Y_i\pm\delta'$$\delta$$\delta$$\delta$X i , b i n Y i , b i $\delta´$$X_{i,bin}$, ) sẽ khác với các giá trị không được lưu trữ, nhưng tôi nghĩ rằng nó vẫn hợp lệ để làm điều đó. Tôi nghĩ rằng bạn không phá vỡ bất kỳ giả định nào; Tôi chỉ chắc chắn rằng sẽ thuận lợi khi làm như vậy và tôi sẽ kiểm tra tầm quan trọng của nó thông qua thử nghiệm hoán vị (để tránh đưa ra bất kỳ giả định nào về phân phối hệ số).$Y_{i,bin}$

Lý do chính để dữ liệu bin là cho phép khả năng có mối quan hệ phi tuyến giữa các biến. Mối tương quan Pearson đo lường sức mạnh của liên kết tuyến tính , do đó, nó không hoạt động tốt khi mối quan hệ là phi tuyến.

Rõ ràng có nhiều cách tốt hơn để xử lý vấn đề này hơn là tạo thùng. Ví dụ: bạn có thể phù hợp với mô hình hồi quy phi tuyến hoặc cục bộ và tương quan giữa các giá trị phản hồi dự đoán và thực tế (mặc dù điều này giả định rằng phương pháp dự đoán đáp ứng là hợp lệ, trong khi tương quan là đối xứng). Binning chỉ là một cách giải quyết vấn đề phi tuyến tính mà những người không có nền tảng thống kê hoặc công cụ thống kê có thể sử dụng.