Làm thế nào để tôi kiểm tra hai biến liên tục là độc lập?

Giả sử tôi có một mẫu từ phân phối chung của X và Y . Làm thế nào để kiểm tra giả thuyết rằng X và Y là độc lập ?$(X_n,Y_n), n=1..N$$X$$Y$$X$$Y$

Không có giả định nào được đưa ra dựa trên luật phân phối chung hoặc biên của và Y (ít nhất là tất cả các quy tắc chung, vì trong trường hợp đó tính độc lập giống hệt với tương quan là 0 ).$X$$Y$$0$

Không có giả định nào được thực hiện dựa trên bản chất của mối quan hệ có thể có giữa và Y ; nó có thể không tuyến tính, vì vậy các biến không tương quan ( r = 0 ) nhưng phụ thuộc rất cao ( I = H ).$X$$Y$$r=0$$I=H$

Tôi có thể thấy hai cách tiếp cận:

1. Bin cả hai biến và sử dụng thử nghiệm chính xác của Fisher hoặc G-test .

   • Pro: sử dụng các bài kiểm tra thống kê được thiết lập tốt
   • Con: phụ thuộc vào binning

2. Ước tính sự phụ thuộc của và Y : I ( X ; Y )$X$$Y$$\frac{I(X;Y)}{H(X,Y)}$ (đây làđối vớiXvàYđộc lậpvà1khi chúng hoàn toàn xác định lẫn nhau).$0$$X$$Y$$1$

   • Pro: tạo ra một số có ý nghĩa lý thuyết rõ ràng
   • Con: phụ thuộc vào tính toán entropy gần đúng (nghĩa là đóng gói lại)

Những cách tiếp cận này có ý nghĩa?

Những phương pháp khác mọi người sử dụng?

Đây là một vấn đề rất khó nói chung, mặc dù các biến của bạn rõ ràng chỉ có 1d để giúp. Tất nhiên, bước đầu tiên (khi có thể) nên là vẽ sơ đồ dữ liệu và xem có gì bật ra ở bạn không; Bạn đang ở trong 2d nên việc này sẽ dễ dàng.

Dưới đây là một vài cách tiếp cận hoạt động trong hoặc thậm chí nhiều cài đặt chung hơn:$\mathbb{R}^n$

• Như bạn đã đề cập, ước tính thông tin lẫn nhau thông qua entropies. Đây có thể là lựa chọn tốt nhất của bạn; công cụ ước tính dựa trên hàng xóm gần nhất làm tốt trong kích thước thấp và thậm chí biểu đồ không phải là khủng khiếp trong 2d. Nếu bạn lo lắng về lỗi ước tính, công cụ ước tính này đơn giản và cung cấp cho bạn giới hạn mẫu hữu hạn (hầu hết những người khác chỉ chứng minh các thuộc tính tiệm cận):

  Sricharan, Raich và Anh hùng. Ước tính thực nghiệm của các chức năng entropy với độ tin cậy. arXiv: 1012.4188 [math.ST]

  Ngoài ra, có các công cụ ước tính trực tiếp tương tự cho thông tin lẫn nhau, ví dụ:

  Pál, Póczos và Svepesári. Ước tính Rényi Entropy và thông tin lẫn nhau dựa trên các đồ thị hàng xóm gần nhất tổng quát , NIPS 2010.

• Tiêu chí độc lập Hilbert-Schmidt: một hạt nhân (theo nghĩa của RKHS, không phải KDE) dựa trên phương pháp tiếp cận.

  Gretton, Bousqet, Smola và Schölkopf, Đo lường tính độc lập thống kê với các chỉ tiêu Hilbert-Schmidt , Lý thuyết học thuật toán năm 2005.

• Cách tiếp cận Schweizer-Wolff: dựa trên các phép biến đổi copula, và do đó, bất biến đối với các phép biến đổi tăng đơn điệu. Tôi không quen thuộc lắm với cái này, nhưng tôi nghĩ nó đơn giản hơn về mặt tính toán nhưng cũng có thể kém mạnh mẽ hơn.

  Schweizer và Wolff, về các biện pháp không phụ thuộc vào các biến ngẫu nhiên , Biên niên sử thống kê 1981.

$H_{0}: H(x,y) = F(x)G(y)$Hmischoeffd

Làm thế nào về bài viết này:

http://arxiv.org/pdf/0804.4101.pdf

"Đo lường và kiểm tra sự phụ thuộc theo mối tương quan của khoảng cách". Székely và Bakirov luôn có những thứ thú vị.

Có mã MATLAB để thực hiện:

http://www.mathworks.com/matlabcentral/fileexchange/39905-distance-correlation

Nếu bạn tìm thấy bất kỳ thử nghiệm nào khác (đơn giản để thực hiện) cho độc lập hãy cho chúng tôi biết.

Liên kết giữa các thử nghiệm hiệp phương sai và nhân (dựa trên tiêu chí độc lập Hilbert - Schmidt) được đưa ra trong bài báo:

Sejdinovic, D., Sriperumbudur, B., Gretton, A., và Fukumizu, K., Sự tương đương của thống kê dựa trên khoảng cách và dựa trên RKHS trong kiểm tra giả thuyết, Biên niên sử Thống kê, 41 (5), tr.2263-2702, 2013

Điều đó cho thấy hiệp phương sai khoảng cách là trường hợp đặc biệt của thống kê hạt nhân, đối với một họ hạt nhân cụ thể.

Nếu bạn có ý định sử dụng thông tin lẫn nhau, một bài kiểm tra dựa trên ước tính đã bị đánh cắp của MI là:

Gretton, A. và Gyorfi, L., Các bài kiểm tra không độc lập nhất quán, Tạp chí nghiên cứu máy học, 11, tr.1391--1423, 2010.

Nếu bạn quan tâm đến việc có được sức mạnh kiểm tra tốt nhất, tốt hơn hết bạn nên sử dụng các bài kiểm tra hạt nhân, thay vì tạo thông tin và thông tin lẫn nhau.

Điều đó nói rằng, với các biến của bạn là đơn biến, các thử nghiệm độc lập không theo tỷ lệ cổ điển như Hoeffding có lẽ vẫn ổn.

Hiếm khi (không bao giờ?) Trong thống kê, bạn có thể chứng minh rằng thống kê mẫu của bạn = một giá trị điểm. Bạn có thể kiểm tra đối với các giá trị điểm và loại trừ chúng hoặc không loại trừ chúng. Nhưng bản chất của thống kê là về việc kiểm tra dữ liệu biến. Bởi vì luôn có phương sai nên sẽ không có cách nào để biết rằng một cái gì đó chính xác không liên quan, bình thường, gaussian, v.v. Bạn chỉ có thể biết một loạt các giá trị cho nó. Bạn có thể biết nếu một giá trị được loại trừ khỏi phạm vi của các giá trị hợp lý. Ví dụ, thật dễ dàng để loại trừ không có mối quan hệ và đưa ra phạm vi giá trị cho mối quan hệ lớn như thế nào.

Do đó, cố gắng chứng minh không có mối quan hệ, về cơ bản giá trị điểm relationship = 0sẽ không đáp ứng với thành công. Nếu bạn có một loạt các biện pháp về mối quan hệ có thể chấp nhận được xấp xỉ bằng 0. thì có thể đưa ra một thử nghiệm.

Giả sử rằng bạn có thể chấp nhận giới hạn đó sẽ hữu ích cho những người đang cố gắng hỗ trợ bạn cung cấp một biểu đồ phân tán với đường cong thấp. Vì bạn đang tìm giải pháp R hãy thử:

scatter.smooth(x, y)

Dựa trên thông tin hạn chế bạn đã cung cấp cho đến nay tôi nghĩ rằng một mô hình phụ gia tổng quát có thể là điều tốt nhất để kiểm tra tính không độc lập. Nếu bạn vẽ điều đó với CI xung quanh các giá trị dự đoán, bạn có thể đưa ra tuyên bố về niềm tin độc lập. Kiểm tra gamtrong gói mgcv. Sự giúp đỡ này khá tốt và có sự trợ giúp ở đây liên quan đến CI .

Nó có thể thú vị ...

Garcia, JE; Các thử nghiệm độc lập của Gonzalez-Lopez, VA (2014) cho các biến ngẫu nhiên liên tục dựa trên chuỗi tăng dài nhất. Tạp chí Phân tích đa biến, câu 127 trang. 126-146.

http://www.scTHERirect.com/science/article/pii/S0047259X14000335