Giải thích từ dưới lên trên của khoảng cách Mahalanobis?

Tôi đang nghiên cứu nhận dạng và thống kê mẫu và hầu hết mọi cuốn sách tôi mở về chủ đề tôi va vào khái niệm khoảng cách Mahalanobis . Các cuốn sách đưa ra những lời giải thích trực quan, nhưng vẫn chưa đủ tốt để tôi thực sự hiểu những gì đang diễn ra. Nếu ai đó hỏi tôi "khoảng cách Mahalanobis là gì?" Tôi chỉ có thể trả lời: "Đây là điều tốt đẹp, đo khoảng cách của một số loại" :)

Các định nghĩa thường cũng chứa các hàm riêng và giá trị riêng, mà tôi gặp một chút khó khăn khi kết nối với khoảng cách Mahalanobis. Tôi hiểu định nghĩa của eigenvector và eigenvalues, nhưng chúng liên quan đến khoảng cách Mahalanobis như thế nào? Liệu nó có liên quan gì đến việc thay đổi cơ sở trong Đại số tuyến tính, v.v.?

Tôi cũng đã đọc những câu hỏi trước đây về chủ đề này:

• Khoảng cách Mahalanobis là gì và nó được sử dụng như thế nào trong nhận dạng mẫu?

• Giải thích trực quan cho hàm phân phối Gaussian và khoảng cách mahalanobis (Math.SE)

Tôi cũng đã đọc lời giải thích này .

Câu trả lời rất hay và hình ảnh đẹp, nhưng tôi vẫn không thực sự hiểu ... Tôi có một ý tưởng nhưng nó vẫn chìm trong bóng tối. Ai đó có thể đưa ra một "Làm thế nào bạn sẽ giải thích nó cho bà của bạn" - kế hoạch để cuối cùng tôi có thể gói lại điều này và không bao giờ tự hỏi cái quái gì là khoảng cách Mahalanobis? :) Nó đến từ đâu, cái gì, tại sao?

CẬP NHẬT:

Đây là một cái gì đó giúp hiểu công thức Mahalanobis:

https://math.stackexchange.com/questions/428064/distance-of-a-test-point-from-the-center-of-an-ellipsoid

Đây là một biểu đồ phân tán của một số dữ liệu đa biến (theo hai chiều):

Chúng ta có thể làm gì với nó khi các trục bị bỏ đi?

Giới thiệu tọa độ được đề xuất bởi chính dữ liệu.

Các nguồn gốc sẽ có mặt tại centroid của điểm (điểm trung bình của họ). Các đầu tiên phối hợp trục (màu xanh trong hình kế tiếp) sẽ mở rộng dọc theo "xương sống" của các điểm, trong đó (theo định nghĩa) là bất kỳ hướng trong đó phương sai là lớn nhất. Các phối hợp trục thứ hai (màu đỏ trong hình vẽ) sẽ mở rộng vuông góc với một trong những đầu tiên. (Trong hơn hai chiều, nó sẽ được chọn theo hướng vuông góc trong đó phương sai càng lớn càng tốt, v.v.)

Chúng ta cần một cái cân . Độ lệch chuẩn dọc theo mỗi trục sẽ làm tốt để thiết lập các đơn vị dọc theo trục. Hãy nhớ quy tắc 68-95-99.7: khoảng hai phần ba (68%) số điểm phải nằm trong một đơn vị gốc (dọc theo trục); khoảng 95% nên trong hai đơn vị. Điều đó làm cho nó dễ dàng để nhãn cầu các đơn vị chính xác. Để tham khảo, hình này bao gồm vòng tròn đơn vị trong các đơn vị này:

Điều đó không thực sự trông giống như một vòng tròn, phải không? Đó là bởi vì hình ảnh này bị biến dạng (bằng chứng là các khoảng cách khác nhau giữa các số trên hai trục). Hãy vẽ lại nó với các trục theo hướng thích hợp của chúng - từ trái sang phải và từ dưới lên trên - và với tỷ lệ khung hình đơn vị sao cho một đơn vị theo chiều ngang thực sự bằng một đơn vị theo chiều dọc:

Bạn đo khoảng cách Mahalanobis trong hình này chứ không phải trong bản gốc.

Chuyện gì đã xảy ra ở đây? Chúng tôi để dữ liệu cho chúng tôi biết cách xây dựng một hệ tọa độ để thực hiện các phép đo trong biểu đồ phân tán. Đó là tất cả. Mặc dù chúng tôi có một vài lựa chọn để thực hiện trên đường đi (chúng tôi luôn có thể đảo ngược một hoặc cả hai trục; và trong những tình huống hiếm hoi, các hướng dọc theo "gai" - hướng chính - không phải là duy nhất), chúng không thay đổi khoảng cách trong cốt truyện cuối cùng.

---

Ý kiến ​​kỹ thuật

(Không dành cho bà, những người có lẽ đã bắt đầu mất hứng thú ngay khi những con số xuất hiện trở lại trên các ô, nhưng để giải quyết những câu hỏi còn lại được đặt ra.)

• Các vectơ đơn vị dọc theo các trục mới là các hàm riêng (của ma trận hiệp phương sai hoặc nghịch đảo của nó).

• $C$$x$$y$$x$$y$$C(x-y, x-y)$$C$$x$$y$$\sqrt{(x-y)'C^{-1}(x-y)}$

• Số lượng theo đó các trục được mở rộng trong bước cuối cùng là giá trị riêng (căn bậc hai của) của ma trận hiệp phương sai nghịch đảo. Tương đương, các trục được thu nhỏ bởi (gốc của) giá trị riêng của ma trận hiệp phương sai. Do đó, càng phân tán, càng cần phải thu nhỏ để chuyển đổi hình elip đó thành một vòng tròn.

• Mặc dù quy trình này luôn hoạt động với bất kỳ tập dữ liệu nào, nhưng nó trông rất đẹp (đám mây hình bóng đá cổ điển) cho dữ liệu xấp xỉ đa biến Bình thường. Trong các trường hợp khác, điểm trung bình có thể không phải là đại diện tốt cho trung tâm của dữ liệu hoặc "các gai" (xu hướng chung trong dữ liệu) sẽ không được xác định chính xác bằng cách sử dụng phương sai để đo lường sự lây lan.

• Sự dịch chuyển của tọa độ gốc, xoay và mở rộng của các trục cùng nhau tạo thành một phép biến đổi affine. Ngoài sự thay đổi ban đầu đó, đây là một sự thay đổi cơ sở từ cơ sở ban đầu (sử dụng các vectơ đơn vị chỉ theo hướng tọa độ dương) sang hướng mới (sử dụng lựa chọn các hàm riêng của đơn vị).

• Có một kết nối mạnh mẽ với Phân tích thành phần chính (PCA) . Điều đó một mình đi một chặng đường dài để giải thích các câu hỏi "nó đến từ đâu" và "tại sao" - nếu bạn chưa bị thuyết phục bởi sự thanh lịch và tiện ích của việc để dữ liệu xác định tọa độ bạn sử dụng để mô tả chúng và đo lường chúng sự khác biệt

• $x$$\exp(-\frac{1}{2} x^2)$

Bà tôi nấu ăn. Bạn cũng có thể. Nấu ăn là một cách ngon để dạy thống kê.

Cookie Habanero bí ngô là tuyệt vời! Hãy suy nghĩ về cách quế và gừng tuyệt vời có thể có trong các món ăn Giáng sinh, sau đó nhận ra rằng chúng nóng như thế nào.

Thành phần gồm:

• ớt habanero (10, gieo hạt và băm nhuyễn)
• đường (1,5 ly)
• bơ (1 cốc)
• chiết xuất vani (1 muỗng cà phê)
• trứng (2 vừa)
• bột mì (2,75 ly)
• baking soda (1 muỗng cà phê)
• muối (1 muỗng cà phê)

Hãy tưởng tượng trục tọa độ của bạn cho miền của bạn là khối lượng thành phần. Đường. Bột mì. Muối. Soda nướng. Sự thay đổi dọc theo các hướng đó, tất cả những thứ khác đều bằng nhau, gần như không ảnh hưởng đến chất lượng hương vị như sự thay đổi về số lượng ớt habanero. Một sự thay đổi 10% trong bột hoặc bơ sẽ làm cho nó ít tuyệt vời hơn, nhưng không phải là kẻ giết người. Chỉ thêm một lượng nhỏ habanero sẽ đánh bật bạn khỏi một vách đá hương vị từ món tráng miệng gây nghiện đến cuộc thi giảm đau dựa trên testosterone.

Mahalanobis không có nhiều khoảng cách về "khối lượng thành phần" vì nó cách xa "hương vị tốt nhất". Các thành phần thực sự "mạnh", những thành phần rất nhạy cảm với biến thể, là những thành phần bạn phải kiểm soát cẩn thận nhất.

Nếu bạn nghĩ về bất kỳ phân phối Gaussian nào so với phân phối Chuẩn thông thường , sự khác biệt là gì? Trung tâm và quy mô dựa trên xu hướng trung tâm (trung bình) và xu hướng biến đổi (độ lệch chuẩn). Một là biến đổi tọa độ của khác. Mahalanobis là sự biến đổi đó. Nó cho bạn thấy thế giới trông như thế nào nếu phân phối sở thích của bạn được phân phối lại như một tiêu chuẩn thông thường thay vì Gaussian.

$d(x,y)=\sqrt{\langle x,y \rangle}$$x$$y$$\mathbb R^{n}$$x$$y$$X$

$x$$y$

$x$$C$

Thu thập các ý tưởng trên, chúng tôi đến khá tự nhiên tại

$$D(x,y)=\sqrt{(x-y)\,C^{-1}(x-y)}$$

$X_i$$X=(X_1,\dots,X_n)$$C_{ij}=\delta_{ij}$$X_i$$Var(X_i)=1$$D(x,y)$ $x$$y$$C(x,y)$

Hãy xem xét hai trường hợp biến. Nhìn thấy hình ảnh này của bivariate bình thường (cảm ơn @whuber), bạn không thể đơn giản cho rằng AB lớn hơn AC. Có một hiệp phương sai tích cực; hai biến có liên quan với nhau.

Bạn chỉ có thể áp dụng các phép đo Euclide đơn giản (các đường thẳng như AB và AC) nếu các biến là

1. độc lập
2. có phương sai bằng 1.

Về cơ bản, thước đo khoảng cách Mahalanobis thực hiện như sau: nó biến đổi các biến thành các biến không tương quan với phương sai bằng 1, và sau đó tính khoảng cách Euclide đơn giản.

Tôi sẽ cố gắng giải thích cho bạn một cách đơn giản nhất có thể:

Khoảng cách Mahalanobis đo khoảng cách của một điểm x từ phân phối dữ liệu. Phân phối dữ liệu được đặc trưng bởi một ma trận trung bình và ma trận hiệp phương sai, do đó được giả thuyết là một gaussian đa biến.

Nó được sử dụng trong nhận dạng mẫu như là thước đo tương tự giữa mẫu (phân phối dữ liệu của ví dụ đào tạo của một lớp) và ví dụ thử nghiệm. Ma trận hiệp phương sai cho hình dạng của dữ liệu được phân phối trong không gian tính năng.

Hình chỉ ra ba lớp khác nhau và đường màu đỏ biểu thị cùng khoảng cách Mahalanobis cho mỗi lớp. Tất cả các điểm nằm trên đường màu đỏ có cùng khoảng cách với giá trị trung bình của lớp, bởi vì nó được sử dụng ma trận hiệp phương sai.

Tính năng chính là việc sử dụng hiệp phương sai làm yếu tố chuẩn hóa.

Tôi muốn thêm một chút thông tin kỹ thuật vào câu trả lời xuất sắc của Whuber. Thông tin này có thể không quan tâm đến bà, nhưng có lẽ cháu của bà sẽ thấy nó hữu ích. Sau đây là giải thích từ dưới lên trên của đại số tuyến tính có liên quan.

$d(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}$$\Sigma$$\Sigma$$\Sigma$$\Sigma=Q^TDQ$$\Sigma^{-1}=QD^{-\frac{1}{2}}D^{-\frac{1}{2}}Q^T$$d(x,y)=\sqrt{\left[(x-y)^TQ\right]D^{-\frac{1}{2}}D^{-\frac{1}{2}}\left[Q^T(x-y)\right]}=\sqrt{z^Tz}$$Q$$(x-y)$$D^{-\frac{1}{2}}$$D^{-\frac{1}{2}}$$D^{-1}$$z^Tz$

Tôi có thể hơi muộn để trả lời câu hỏi này. Bài báo ở đây là một khởi đầu tốt để hiểu khoảng cách Mahalanobis. Họ cung cấp một ví dụ hoàn chỉnh với các giá trị số. Những gì tôi thích về nó là đại diện hình học của vấn đề được trình bày.

Chỉ cần thêm vào những lời giải thích tuyệt vời ở trên, khoảng cách Mahalanobis phát sinh một cách tự nhiên trong hồi quy tuyến tính (đa biến). Đây là một kết quả đơn giản của một số kết nối giữa khoảng cách Mahalanobis và phân phối Gaussian được thảo luận trong các câu trả lời khác, nhưng tôi nghĩ dù sao nó cũng đáng để đánh vần.

$(x_1, y_1), \ldots, (x_N, y_N)$$x_i \in \mathbb{R}^n$$y_i \in \mathbb{R}^m$$\beta_0 \in \mathbb{R}^m$$\beta_1 \in \mathbb{R}^{m \times n}$$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\epsilon_1, \ldots, \epsilon_N$$m$$0$$C$$x_i$$y_i$$x_i$$\beta_0 + \beta_1 x_i$$C$

$y_i$$x_i$$\beta = (\beta_0, \beta_1)$

$$\begin{equation} -\log p(y_i \mid x_i; \beta) = \frac{m}{2} \log (2\pi\det C) + \frac{1}{2} (y_i - (\beta_0 + \beta_1 x_i))^\top C^{-1} (y_i - (\beta_0 + \beta x_i)). \end{equation}$$ $C$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p(y_i \mid x_i; \beta)] = \operatorname{argmin}_\beta D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $$\begin{equation} D_C(\hat y, y) = \sqrt{(y - \hat y)^\top C^{-1} (y - \hat y)} \end{equation}$$ $\hat y, y \in \mathbb{R}^m$

Theo tính độc lập, khả năng của cho được cho bởi tổng Do đó, trong đó hệ số không ảnh hưởng đến argmin.$\log p({\bf y} \mid {\bf x}; \beta)$${\bf y} = (y_1, \ldots, y_N)$${\bf x} = (x_1, \ldots, x_N)$

$$\begin{equation} \log p({\bf y} \mid {\bf x}; \beta) = \sum_{i=1}^N \log p(y_i \mid x_i; \beta) \end{equation}$$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p({\bf y} \mid {\bf x}; \beta)] = \operatorname{argmin}_\beta \frac{1}{N} \sum_{i=1}^N D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $1/N$

Tóm lại, các hệ số giúp giảm thiểu khả năng nhật ký âm (nghĩa là tối đa hóa khả năng) của dữ liệu được quan sát cũng giảm thiểu rủi ro theo kinh nghiệm của dữ liệu với chức năng mất do khoảng cách Mahalanobis đưa ra.$\beta_0, \beta_1$

Khoảng cách Mahalanobis là khoảng cách eidianidian (khoảng cách tự nhiên) có tính đến hiệp phương sai của dữ liệu. Nó mang lại trọng lượng lớn hơn cho thành phần gây ồn và do đó rất hữu ích để kiểm tra sự giống nhau giữa hai bộ dữ liệu.

Như bạn có thể thấy trong ví dụ của bạn ở đây khi các biến tương quan, phân phối được chuyển sang một hướng. Bạn có thể muốn loại bỏ hiệu ứng này. Nếu bạn tính đến mối tương quan trong khoảng cách của bạn, bạn có thể loại bỏ hiệu ứng thay đổi.