Có một sự thiếu nghiêm ngặt tổng quát trong việc sử dụng từ "tương quan" vì lý do đơn giản là nó có thể có nhiều giả định và ý nghĩa khác nhau. Cách sử dụng đơn giản nhất, lỏng lẻo và phổ biến nhất là có một mối liên hệ mơ hồ, mối quan hệ hoặc sự thiếu độc lập giữa một cặp biến ngẫu nhiên tĩnh.
Ở đây, số liệu mặc định được đề cập thường là tương quan Pearson , đây là thước đo được tiêu chuẩn hóa của cặp đôi, liên kết tuyến tính giữa hai biến phân phối liên tục. Một trong những lạm dụng phổ biến nhất của Pearson là báo cáo theo tỷ lệ phần trăm. Nó chắc chắn không phải là một tỷ lệ phần trăm. Các Pearson tương quan, r , dao động trong khoảng -1.0 và 1,0 trong đó 0 có nghĩa là không tuyến tính liên kết. Các vấn đề khác không được công nhận rộng rãi khi sử dụng tương quan Pearson làm mặc định là nó thực sự là một biện pháp tuyến tính khá nghiêm ngặt, không mạnh mẽ đòi hỏi phải thay đổi tỷ lệ giữa các khoảng thời gian (xem bài viết xuất sắc của Paul EmbrechtsTương quan và phụ thuộc trong quản lý rủi ro: Thuộc tính và cạm bẫy ở đây: https://people.math.ethz.ch/~embrecht/ftp/pit thác.pdf ).
Embrechts lưu ý rằng có nhiều giả định sai lầm về sự phụ thuộc bắt đầu bằng các giả định về cấu trúc cơ bản và hình dạng hình học của các mối quan hệ này:
Những ngụy biện này phát sinh từ một giả định ngây thơ rằng các thuộc tính phụ thuộc của thế giới elip cũng giữ trong thế giới phi elip
Embrechts chỉ ra các công thức như một loại số liệu phụ thuộc rộng hơn nhiều được sử dụng trong quản lý rủi ro và tài chính, trong đó tương quan Pearson chỉ là một loại.
Bộ phận Thống kê của Columbia đã dành năm học 2013-2014 tập trung vào việc phát triển những hiểu biết sâu sắc hơn về các cấu trúc phụ thuộc: ví dụ: tuyến tính, phi tuyến, đơn điệu, xếp hạng, tham số, không tham số, có khả năng rất phức tạp và có sự khác biệt lớn về tỷ lệ. Năm kết thúc với một hội thảo và hội thảo kéo dài 3 ngày, quy tụ hầu hết những người đóng góp hàng đầu trong lĩnh vực này ( http://datascience.columbia.edu/workshop-and-conference-nonparametric-measure-dependence-apr-28-may- 2 ).
Những người đóng góp này bao gồm anh em Reshef, hiện nổi tiếng với bài báo Khoa học năm 2011 Phát hiện các hiệp hội tiểu thuyết trong Tập dữ liệu lớn http://www.uvm.edu/~cdanfort/csc-reading-group/reshef-correlation-science-2011.pdf rằng đã bị chỉ trích rộng rãi (xem AndrewGelman.com để có cái nhìn tổng quan tốt, được xuất bản đồng thời với sự kiện Columbia: http://andrewgelman.com/2014/03/14/maximal-inif-cffic ). Các Reshefs đã giải quyết tất cả những lời chỉ trích này trong bài trình bày của họ (có sẵn trên trang web của hội nghị Columbia), cũng như một thuật toán MIC hiệu quả hơn rất nhiều.
Nhiều nhà thống kê hàng đầu khác đã trình bày tại sự kiện này bao gồm Gabor Szekely, hiện tại NSF ở DC. Szekely đã phát triển mối tương quan khoảng cách và một phần khoảng cách của mình . Deep Mukhopadhay, Temple U, trình bày Thuật toán thống kê thống nhất của mình - một khuôn khổ cho các thuật toán thống nhất của khoa học dữ liệu - dựa trên công việc được thực hiện với Eugene Franzen http://www.fox.temple.edu/mcm_people/subhadeep-mukhopadhyay/ . Và nhiều người khác. Đối với tôi, một trong những chủ đề thú vị hơn là đòn bẩy rộng và sử dụng Tái tạo không gian hạt nhân Hilbert (RKHS) và hình vuông chi. Nếu có một cách tiếp cận phương thức cho các cấu trúc phụ thuộc tại hội nghị này, thì đó là RKHS.
Các sách giáo khoa thống kê giới thiệu điển hình là chiếu lệ trong điều trị phụ thuộc của nó, thường dựa vào các bài thuyết trình của cùng một tập hợp các hình ảnh của các mối quan hệ tròn hoặc parabol. Các văn bản phức tạp hơn sẽ đi sâu vào Bộ tứ của Anscombe , một hình ảnh của bốn bộ dữ liệu khác nhau sở hữu các thuộc tính thống kê đơn giản, tương tự nhưng cực kỳ khác nhau: https://en.wikipedia.org/wiki/Anscombe%27s_quartet
Một trong những điều tuyệt vời của hội thảo này là vô số các cấu trúc và mối quan hệ phụ thuộc được hình dung và trình bày, vượt xa các tiêu chuẩn, điều trị chiếu lệ. Chẳng hạn, Reshefs có hàng tá đồ họa hình thu nhỏ chỉ đại diện cho một mẫu phi tuyến có thể. Deep Mukhopadhay có hình ảnh tuyệt đẹp về các mối quan hệ cực kỳ phức tạp trông giống như một cảnh quan vệ tinh của dãy Hy Mã Lạp Sơn. Số liệu thống kê và tác giả sách giáo khoa khoa học dữ liệu cần lưu ý.
Ra khỏi hội nghị Columbia với sự phát triển và hình dung của các cấu trúc phụ thuộc cặp đôi rất phức tạp này, tôi đã đặt câu hỏi về khả năng của các mô hình thống kê đa biến để nắm bắt các phi tuyến và độ phức tạp này.