Tìm nếu hai bộ dữ liệu gần nhau

Tôi có ba bộ dữ liệu sau đây.

data_a=[0.21,0.24,0.36,0.56,0.67,0.72,0.74,0.83,0.84,0.87,0.91,0.94,0.97]
data_b=[0.13,0.21,0.27,0.34,0.36,0.45,0.49,0.65,0.66,0.90]
data_c=[0.14,0.18,0.19,0.33,0.45,0.47,0.55,0.75,0.78,0.82]

data_a là dữ liệu thực và hai dữ liệu còn lại là dữ liệu mô phỏng. Ở đây tôi đang cố gắng kiểm tra xem cái nào (data_b hoặc data_c) gần nhất hoặc gần giống với data_a. Hiện tại tôi đang thực hiện nó một cách trực quan và với bài kiểm tra ks_2samp (python).

Trực quan

Tôi đã vẽ đồ thị của cdf dữ liệu thực so với cdf của dữ liệu mô phỏng và thử xem trực quan cái nào gần nhất.

Trên đây là cdf của data_a so với cdf của data_b

Trên đây là cdf của data_a so với cdf của data_c

Vì vậy, bằng cách nhìn trực quan, người ta có thể nói rằng data_c gần với data_a hơn data_b nhưng nó vẫn không chính xác.

Kiểm tra KS

Phương pháp thứ hai là kiểm tra KS nơi tôi đã kiểm tra data_a với data_b cũng như data_a với data_c.

>>> stats.ks_2samp(data_a,data_b)
Ks_2sampResult(statistic=0.5923076923076923, pvalue=0.02134674813035231)
>>> stats.ks_2samp(data_a,data_c)
Ks_2sampResult(statistic=0.4692307692307692, pvalue=0.11575018162481227)

Từ trên chúng ta có thể thấy rằng số liệu thống kê thấp hơn khi chúng tôi kiểm tra data_a với data_c vì vậy data_c nên gần data_a hơn data_b. Tôi đã không xem xét giá trị vì sẽ không phù hợp khi nghĩ về nó như một thử nghiệm giả thuyết và sử dụng giá trị p thu được vì thử nghiệm được thiết kế với giả thuyết null được xác định trước.

Vì vậy, câu hỏi của tôi ở đây là nếu tôi đang làm điều này một cách chính xác và cũng có cách nào khác tốt hơn để làm điều đó ??? Cảm ơn bạn

Bạn có thể thực hiện một cách tiếp cận Lý thuyết thông tin bằng cách tìm ra sự phân kỳ Kibbackback Leibler thấp nhất giữa các bản phân phối. Có một tùy chọn phân kỳ KL trong hàm entropy của SciPy .

>>> from scipy.stats import entropy

>>> p = [0.21,0.24,0.36,0.56,0.67,0.72,0.74,0.83,0.84,0.87] # Data removed to make equal sizes: [0.91,0.94,0.97]
>>> q_1 = [0.13,0.21,0.27,0.34,0.36,0.45,0.49,0.65,0.66,0.90]
>>> print(entropy(p, q_1)) 
0.019822015024454846

>>> q_2 =[0.14,0.18,0.19,0.33,0.45,0.47,0.55,0.75,0.78,0.82]
>>> print(entropy(p, q_2))
0.01737229446663193

Phân phối mô phỏng thứ hai gần hơn phân phối mô phỏng thứ nhất so với phân phối thực.

Nếu bạn quan tâm đến suy luận, bạn có thể chạy nhiều mô phỏng và tính toán giá trị p. Quá trình đó là một biến thể của thử nghiệm hoán vị .

Xem xét sử dụng Khoảng cách của Earth Mover (tức là khoảng cách Wasserstein-1 ), có thể được sử dụng (tương tự như phân kỳ KL) để tính "khoảng cách" giữa các tập hợp điểm (hay đúng hơn là phân bố theo kinh nghiệm do chúng gây ra). Có một phương pháp trong scipy cho nó, cũng như thư viện này .

Một số lưu ý:

• Bạn không cần phải có cùng số điểm trong mỗi bộ (EMD cho phép "tách" khối lượng).
• Một lợi thế so với phân kỳ KL là KLD có thể không xác định hoặc vô hạn nếu các bản phân phối không có sự hỗ trợ giống hệt nhau (mặc dù sử dụng phân kỳ Jensen-Shannon làm giảm nhẹ điều này). Hơn nữa, ước tính entropies thường khó và không có tham số (thường yêu cầu binning hoặc KDE), trong khi người ta có thể giải quyết tối ưu hóa EMD trực tiếp trên các điểm dữ liệu đầu vào.
• Một lợi thế so với thống kê đơn giản (ví dụ, so sánh các phương tiện và hiệp phương sai, hoặc định mức) là chúng có xu hướng mất thông tin. Ví dụ, khớp hai khoảnh khắc đầu tiên không bắt buộc khoảnh khắc thứ ba khớp với nhau; hoặc, hai bộ dữ liệu có thể có cùng định mức mặc dù rất khác nhau (đối với$n$ điểm, mọi điểm trên $n$-hyper-sphere có cùng bán kính có định mức giống hệt nhau). Ngược lại, EMD phải xem xét mối quan hệ của mọi điểm trong một tập hợp với mọi điểm ở điểm khác.
• Tôi xem xét sử dụng thử nghiệm KS hoàn toàn hợp lý. Xem thêm bài này . Một cảnh báo là việc sử dụng supremum của nó là một chút cực đoan. Chẳng hạn, một bản phân phối có độ lệch CDF lớn$\delta$ tại một số thời điểm và rất gần với thời gian còn lại so với thời gian khác đi $\delta-\epsilon$ cho một số nhỏ $\epsilon$nhiều lần - thống kê của KS sẽ thích cái trước. Nó là tùy thuộc vào bạn cho dù điều đó có ý nghĩa.

Vì chúng ta không nên xóa bất kỳ dữ liệu nào ... chúng ta có thể sử dụng định mức vectơ từ gốc (định mức l2)

data_a, data_b, data_c là các mảng.

 import numpy as np    
 import pandas as pd
 from numpy.linalg import norm
 l2_a=norm(data_a)
 l2_b=norm(data_b)
 l2_c=norm(data_c)
 print(l2_a,l2_b,l2_c)

đầu ra : 2.619885493680974 1.5779100101083077 1.6631897065578538.

vì l2_a, các giá trị l2_c gần nhau hơn, data_a và data_c gần nhau.