Phương pháp đo cường độ của mối quan hệ phi tuyến tính tùy ý giữa hai biến?

Có những phương pháp nào để đo lường sức mạnh của các mối quan hệ tùy ý, phi tuyến tính cao giữa hai biến được ghép nối? Theo phi tuyến tính cao, ý tôi là các mối quan hệ không thể được mô hình hóa một cách hợp lý hoặc đáng tin cậy bằng hồi quy cho một mô hình đã biết. Tôi đặc biệt quan tâm đến chuỗi thời gian, nhưng tôi tưởng tượng bất kỳ điều gì hoạt động cho dữ liệu hai biến sẽ hoạt động ở đây (nếu chúng ta coi hai chuỗi thời gian là một tập hợp các điểm dữ liệu cặp)

Hai cái mà tôi biết là Sự khác biệt bình phương trung bình (nghĩa là lỗi bình phương trung bình , coi một chuỗi thời gian là giá trị "mong đợi" và một là giá trị quan sát được), như và Hiệp phương sai . Những gì người khác đang có?

Làm rõ: Về cơ bản, tôi đang hỏi về sự phụ thuộc giữa các chuỗi, trong đó tương quan tuyến tính hoặc tương quan phi tuyến tính đơn giản (sau log, exp, trig, các phép biến đổi phân tích đơn giản khác) không thực sự có ý nghĩa nhiều.

Hồi quy tuyến tính cũ đơn giản có một diễn giải phi tham số tốt đẹp là xu hướng tuyến tính trung bình trên tất cả các cặp quan sát; xem Berman 1988, "Một định lý của Jacobi và khái quát hóa của nó". Vì vậy, dữ liệu không phải nhìn tuyến tính để sử dụng nó; bất kỳ xu hướng đơn điệu (rộng rãi) nào cũng có thể được tóm tắt theo cách này.

Bạn cũng có thể sử dụng mối tương quan xếp hạng Spearman ... và có lẽ nhiều thứ khác bên cạnh.

"Lượng quan hệ" giữa hai biến rời rạc , được đo chính thức bằng thông tin lẫn nhau : . Trong khi hiệp phương sai / tương quan bằng cách nào đó là lượng quan hệ tuyến tính, thông tin lẫn nhau bằng cách nào đó là lượng (bất kỳ loại) mối quan hệ nào. Tôi đang dán trang Wikipedia mẫu hình ảnh:$X$$Y$$I(X,Y)$

Đối với các biến liên tục, các khái niệm lý thuyết thông tin thường được định nghĩa là tốt nhưng ít quản lý hơn, có thể ít ý nghĩa hơn. Tôi không muốn làm phiền vào lúc này. Chúng ta hãy gắn bó với các biến rời rạc. Dù sao, nó có ý nghĩa xấp xỉ các biến liên tục bằng các biến rời rạc (sử dụng các lát) đặc biệt là trong các phương pháp lý thuyết thông tin.

Vấn đề với các khái niệm lý thuyết thông tin thường là tính không khả thi của chúng. Có thể ước tính thông tin lẫn nhau giữa và giống như có thể tìm thấy mối quan hệ phi tuyến tính tùy ý giữa chúng: bạn cần một sức mạnh thống kê (số lượng dữ liệu) thường vượt xa mức hợp lý: đối với bất kỳ giá trị nào có thể cho , bạn cần nhiều mẫu (giả sử 1000) để tính toán ước tính của từng . Điều này là không thể trong hầu hết các vấn đề học máy hoặc phân tích thống kê. Đó là loại logic: nếu bạn cho phép một mô hình có thể diễn đạt "bất kỳ khả năng nào", thì nó chỉ có thể được đào tạo bởi một lượng dữ liệu bao gồm bất kỳ khả năng nào nhiều lần.$X$$Y$$x$$P(Y=y|X=x)$

Nhưng có lẽ cách tiếp cận như vậy là có thể, đối với các biến có chiều thấp, nếu bạn thực thi độ chính xác thấp: phân tách các miền của và thành một số lát đủ nhỏ để dữ liệu của bạn ổn. Dù sao tôi nghĩ rằng điều này đòi hỏi một số nghiên cứu.$X$$Y$

Cuối cùng, hình thức chung nhất của chức năng tiêm chích là

$f(x) = y$

và bạn có thể sử dụng phiên bản rời rạc của chức năng đó làm mô hình cho dữ liệu của mình.

$y$$a<x<b$

Phương pháp này không mạnh vì số lượng tự do cao trong mô hình. Mặc dù, đó cũng là vấn đề cố hữu đối với mức độ tự do (và tính tổng quát) cao trong loại hàm có thể mô tả mô hình cho dữ liệu.

Đối với trường hợp cụ thể hơn, cải tiến có thể được thực hiện.

Cần phải là một phương pháp nhanh chóng để tính toán, tương tự như tương quan, nhưng có thể phát hiện các mối quan hệ bậc hai chẳng hạn.

Mối tương quan Spearman, được đề cập trong một câu trả lời khác, phù hợp với dự luật. Nó được tính bằng cách đơn giản là chuyển đổi dữ liệu thành các cấp bậc và sau đó tìm mối tương quan Pearson cho các cấp bậc. Nó có thể phát hiện bất kỳ hiệp hội đơn điệu.

$O(n \log n)$$O(n)$), nhưng nó không đòi hỏi sự phán đoán của con người để tính toán và nó đã được triển khai trong rất nhiều phần mềm thống kê, và với một cỗ máy hiện đại, độ phức tạp không có triệu chứng khó có thể xảy ra trừ các bộ dữ liệu lớn nhất.

Không hoàn toàn rõ ràng là những gì bạn đang cố gắng đo lường, nhưng tôi sẽ cố gắng cung cấp cho bạn thông tin có thể giúp ích. Có các biện pháp tương quan như Cronback's Alpha có thể được sử dụng để đánh giá tính nhất quán / mối quan hệ nội bộ giữa một tập hợp các biến. Bạn cũng có thể sử dụng những thứ như mô hình phụ gia chung (GAM) để kiểm tra xem ước tính chức năng có phải là hằng số hay không. Điều này có nghĩa là không có mối quan hệ giữa các biến của bạn. Xem câu trả lời ở đây để thảo luận về vấn đề này: Làm thế nào để tôi kiểm tra một hiệp hội phi tuyến?

Bạn có thể thử hệ số thông tin tối đa . Nó vượt trội hơn các phương pháp được chọn trong bài báo và hoạt động tốt trong việc phát hiện mối quan hệ phi tuyến giữa hai biến ngẫu nhiên.

Tôi không thể bình luận do đó tôi phải đăng câu trả lời. Hãy xem Dynamic Time Warping, thuật toán đơn giản có thể phát hiện / so sánh các mẫu giữa hai chuỗi thời gian, có thể có độ chi tiết khác nhau. https://en.wikipedia.org/wiki/Docate_time_warping