Khoảng cách Mahalanobis giữa hai phân phối bivariate với hiệp phương sai khác nhau

Câu hỏi được chứa khá nhiều trong tiêu đề. Khoảng cách Mahalanobis cho hai phân phối ma trận hiệp phương sai khác nhau là gì? Những gì tôi đã tìm thấy cho đến bây giờ giả sử cùng một hiệp phương sai cho cả hai phân phối, tức là, một cái gì đó thuộc loại này:

Δ^{T} Σ^{- 1} Δ

$\Delta^T \Sigma^{-1} \Delta$

Nếu tôi có hai khác nhau $\Sigma$ s?

Lưu ý: - Vấn đề là ở đây: có hai phân phối bivariate có cùng kích thước nhưng được xoay và dịch đối với nhau (xin lỗi tôi đến từ một nền tảng toán học thuần túy, không phải là một thống kê). Tôi cần phải đo mức độ chồng chéo / khoảng cách của họ.

* Cập nhật: * Điều có thể hoặc không thể ẩn trong những gì tôi đang hỏi là tôi cần một khoảng cách giữa các phương tiện của hai bản phân phối. Tôi biết phương tiện ở đâu, nhưng vì hai phân phối được xoay đối với nhau, tôi cần gán các trọng số khác nhau cho các hướng khác nhau và do đó khoảng cách Euclide đơn giản giữa các phương tiện không hoạt động. Bây giờ, như tôi đã hiểu, khoảng cách Mahalanobis không thể được sử dụng để đo thông tin này nếu các phân phối có hình dạng khác nhau (rõ ràng nó hoạt động với hai phân phối bình thường đa biến của hiệp phương sai giống nhau, nhưng không phải trong trường hợp chung). Có một biện pháp tốt mã hóa mong muốn này để mã hóa các định hướng với các trọng lượng khác nhau?

normal-distribution multivariate-analysis distance-functions

— Kristian D'Amato
nguồn

Khoảng cách Mahalanobis không có ý nghĩa khi phân phối khác nhau. (Giống như nói "Peter sống trên một quả cầu và Paul sống trên một mặt phẳng Euclide; làm thế nào để chúng ta tính toán khoảng cách giữa chúng?") Có lẽ bạn có thể lùi lại một bước và giúp chúng tôi hiểu động cơ cho câu hỏi: chính xác thì bạn làm gì muốn thực hiện ở đây? Bối cảnh thống kê là gì?

— whuber

Được rồi, tôi đã nghi ngờ rất nhiều. Lý do tại sao tôi hỏi là tôi đã nhìn thấy các phương trình sau đây được sử dụng để tính toán một 'Mahalanobis' khoảng cách, hoặc lâu hơn nó tuyên bố:

Tôi không quá chắc chắn rằng của một Khoảng cách Mahalanobis; Tôi chỉ phản ánh những gì đã được tuyên bố. Khoảng cách Bhattacharya sẽ hoạt động tốt hơn ở vị trí của nó?

Δ^{T} \(Σ_{1} Σ_{2} {\)}^{- 1} Δ

$\Delta^T $\Sigma_1 \Sigma_2$^{-1} \Delta$

— Kristian D'Amato

@ k-damato Mahalanobis khoảng cách đo khoảng cách giữa các điểm, không phân phối.

— vqv

Được rồi, vậy có ai nhận ra phương trình trên là một cái gì đó có ý nghĩa không? Các đồng bằng là các vectơ dịch chuyển.

— Kristian D'Amato

@Kristian Tôi đã hợp nhất hai tài khoản trùng lặp của bạn. Vui lòng sử dụng tài khoản đã đăng ký của bạn, kể từ bây giờ.

— chl

Câu trả lời:

Có nhiều khái niệm về khoảng cách giữa các phân phối xác suất. Cái nào để sử dụng phụ thuộc vào mục tiêu của bạn. Tổng khoảng cách biến đổi là một cách tự nhiên để đo sự chồng chéo giữa các bản phân phối. Nếu bạn đang làm việc với Normals đa biến, Kiverback-Leibler Divergence thuận tiện về mặt toán học. Mặc dù nó không thực sự là một khoảng cách (vì nó không đối xứng và không tuân theo bất đẳng thức tam giác), nhưng nó vượt quá giới hạn tổng khoảng cách - xem Bất đẳng thức của Pinsker .

— vqv
nguồn

một vài cuộc thảo luận gần đây ở đây đã tập trung vào sửa đổi phân kỳ KL dẫn đến một số liệu thích hợp. Trong trường hợp bạn quan tâm, xem ở đây và ở đây .

— Đức Hồng Y

Giới thiệu Như @vqv đã đề cập Tổng biến thể và Kullback Leibler là hai khoảng cách thú vị. Cái đầu tiên rất có ý nghĩa vì nó có thể liên quan trực tiếp đến lỗi loại thứ nhất và thứ hai trong kiểm tra giả thuyết. Vấn đề với khoảng cách tổng biến thể là nó có thể khó tính toán. Khoảng cách Kullback Leibler dễ dàng tính toán hơn và tôi sẽ đến đó sau. Nó không phải là đối xứng nhưng có thể được thực hiện đối xứng (bằng cách nào đó một chút giả tạo).

$\mathcal{L}$ $P_0,P_1$ $i=0,1$ $P_i$ $\mu_i$ $C_i$

‖ L ‖_{L_{2} (P_{1 / 2})}^{2}

$\|\mathcal{L}\|^2_{L_2(P_{1/2})}$

cho được chọn tốt . $P_{1/2}$

Nói một cách đơn giản :

có thể có các phép quay "hướng" thú vị khác nhau, thu được bằng cách sử dụng công thức của bạn với một trong các ma trận hiệp phương sai "nội suy" ( hoặc ) ở cuối bài này (số là bài bạn đề xuất trong bình luận cho câu hỏi của bạn). $\Sigma=C_{i,1/2}$ $i=1,2,3,4$ $5$ $5$
do hai phân phối của bạn có hiệp phương sai khác nhau, nên việc so sánh các phương tiện không hiệu quả , bạn cũng cần so sánh hiệp phương sai.

Hãy để tôi giải thích cho bạn lý do tại sao đây là cảm giác của tôi, làm thế nào bạn có thể tính toán điều này trong trường hợp và cách chọn . $C_1\neq C_0$ $P_{1/2}$

Trường hợp tuyến tính Nếu . $C_1=C_0=\Sigma$

σ = Δ Σ^{- 1} Δ = ‖ 2 L ‖_{L_{2} (P_{1 / 2})}^{2}

$\sigma= \Delta \Sigma^{-1} \Delta=\|2\mathcal{L}\|^2_{L_2(P_{1/2})}$

nơi là "Nội suy" giữa và (gaussian với hiệp phương sai và trung bình ). Lưu ý rằng trong trường hợp này, khoảng cách Hellinger, tổng khoảng cách biến thể có thể được viết bằng . $P_{1/2}$ $P_1$ $P_0$ $\Sigma$ $(\mu_1+\mu_0)/2$ $\sigma$

Làm thế nào để tính toán trong trường hợp chung $\mathcal{L}$ câu hỏi tự nhiên Một phát sinh từ câu hỏi của bạn (và tôi ) là một "Nội suy" tự nhiên giữa là những gì và khi . Ở đây, từ tự nhiên có thể là từ người dùng cụ thể nhưng ví dụ: từ này có thể liên quan đến phép nội suy tốt nhất để có giới hạn trên chặt chẽ với khoảng cách khác (ví dụ: khoảng cách ở đây ) $P_1$ $P_0$ $C_1\neq C_0$ $L_1$

Viết ( ) có thể giúp xem đâu là nhiệm vụ nội suy, nhưng:

L = ϕ (C_{i}^{- 1 / 2} (x - μ_{i})) - ϕ (C_{j}^{- 1 / 2} (x - μ_{j})) - \frac{1}{2} \log (C_{i} C_{j}^{-})

$\mathcal{L}= \phi (C^{-1/2}_i(x-\mu_i))-\phi (C^{-1/2}_j(x-\mu_j))-\frac{1}{2}\log \left ( C_iC_j^{-}\right )$

i = 0, j = 1

$i=0,j=1$

L (x) = - \frac{1}{2} ⟨ A_{i j} (x - s_{i j}), x - s_{i j} ⟩_{R^{p}} + ⟨ G_{i j}, x - s_{i j} ⟩_{R^{p}} - c_{i j}, [1]

$\mathcal{L}(x)=-\frac{1}{2}\langle A_{ij}(x-s_{ij}),x-s_{ij}\rangle_{\mathbb{R}^p}+\langle G_{ij},x-s_{ij}\rangle_{\mathbb{R}^p}-c_{ij}, \;[1]$

với

A_{i j} = C_{i}^{-} - C_{j}^{-}, G_{i j} = S_{i j} m_{i j}, S_{i j} = \frac{C_{i}^{-} + C_{j}^{-}}{2},

$A_{ij}=C_i^{-}-C_j^{-},\;\; G_{ij}=S_{ij}m_{ij},\;\; S_{ij}=\frac{C_i^{-}+C_j^{-}}{2},$

c_{i j} = \frac{1}{8} ⟨ A_{i j} m_{i j}, m_{i j} ⟩_{R^{p}} + \frac{1}{2} \log | det (C_{j}^{-} C_{i}) |

$c_{ij}=\frac{1}{8}\langle A_{ij} m_{ij},m_{ij}\rangle_{\mathbb{R}^p}+\frac{1}{2}\log|\det(C_j^{-}C_i)|$

và

m_{i j} = μ_{i} - μ_{j} a n d s_{i j} = \frac{μ_{i} + μ_{j}}{2}

$m_{ij}=\mu_i-\mu_j \;\; and\;\; s_{ij}=\frac{\mu_i+\mu_j}{2}$

có liên quan nhiều hơn cho mục đích tính toán. Với mọi gaussian với trung bình và hiệp phương sai , phép tính từ phương trình là một chút kỹ thuật nhưng có thể tin được. Bạn cũng có thể sử dụng nó để tính khoảng cách leibler Kulback. $P_{1/2}$ $s_{01}$ $C$ $\|\mathcal{L}\|^2_{L_2(P_{1/2})}$ $1$

Chúng ta nên chọn phép nội suy nào (tức là cách chọn ) $P_{1/2}$ Điều này được hiểu rõ ràng từ phương trình rằng có nhiều ứng cử viên khác nhau cho (nội suy) trong trường hợp "bậc hai". Hai ứng cử viên tôi thấy "tự nhiên nhất" (chủ quan :)) phát sinh từ việc xác định cho một phân phối gaussian với trung bình : $1$ $P_{1/2}$ $t\in [0,1]$ $P_t$ $t\mu_1+(1-t)\mu_0$

$P^1_t$ là phân phối của (trong đó được rút ra từ ) có hiệp phương sai ). $ξ_{t} = t ξ_{1} + (1 - t) ξ_{0}$ $\xi_t=t\xi_1+(1-t)\xi_0$ $\xi_i$ $P_i$ $i=0,1$ $C_{t,1}=(tC_1^{1/2}+(1-t)C_0^{1/2})^2$
$P^2_t$ với hiệp phương sai nghịch đảo $C_{t,2}^{-1}=tC_{1}^{-1}+(1-t)C_0^{-1}$
$P^3_t$ với hiệp phương sai $C_{t,3}=tC_1+(1-t)C_0$
$P^4_t$ với hiệp phương sai nghịch đảo $C_{t,4}^{-1}=(tC^{-1/2}_1+(1-t)C^{-1/2}_0)^{2}$

EDIT: Người bạn đề xuất trong một nhận xét cho câu hỏi của bạn có thể là , tại sao không ... $C_{t,5}=C_1^{t}C_0^{1-t}$

Tôi có lựa chọn yêu thích không phải là lựa chọn đầu tiên :) không có nhiều thời gian để thảo luận về vấn đề đó ở đây. Có lẽ tôi sẽ chỉnh sửa câu trả lời này sau ...

— cướp girard
nguồn

Điều này đã cũ, nhưng đối với những người khác đang đọc điều này, ma trận hiệp phương sai phản ánh sự quay của các phân phối gaussian và giá trị trung bình phản ánh vị trí dịch hoặc vị trí trung tâm của phân phối. Để đánh giá khoảng cách mahab, chỉ cần D = ((m2-m1) * inv ((C1 + C2) / 2) * (m2-m1) '). Bây giờ nếu bạn nghi ngờ rằng hai phân phối bivariate là như nhau, nhưng bạn nghi ngờ rằng chúng đã được xoay, sau đó tính toán hai cặp hàm riêng và giá trị riêng cho mỗi phân phối. Các hàm riêng chỉ theo hướng lan truyền dữ liệu bivariate dọc theo trục chính và trục phụ và giá trị riêng biểu thị độ dài của sự lan truyền này. Nếu các giá trị riêng giống nhau, thì hai phân phối giống nhau nhưng được xoay. Lấy acos của sản phẩm chấm giữa các eigenvector để có được góc quay.

— kẻ bắt bão
nguồn