Chứng minh mối quan hệ giữa khoảng cách Mahalanobis và Đòn bẩy?

Tôi đã thấy các công thức trên Wikipedia. liên quan đến khoảng cách và đòn bẩy của Mahalanobis:

Khoảng cách Mahalanobis liên quan chặt chẽ với thống kê đòn bẩy, $h$ , nhưng có thang đo khác:
$D^{2} = (N - 1) (h - \frac{1}{N}) .$ $D^2 = (N - 1)(h - \tfrac{1}{N}).$

Trong một bài viết được liên kết , Wikipedia mô tả $h$ theo các thuật ngữ sau:

Trong mô hình hồi quy tuyến tính, số điểm đòn bẩy cho $i^{th}$ đơn vị dữ liệu được định nghĩa là:
$h_{i i} = (H)_{i i},$ $h_{ii}=(H)_{ii},$ các $i^{th}$ yếu tố đường chéo của ma trận mũ $H=X(X^{\top}X)^{-1}X^{\top}$ , nơi biểu thị ma trận chuyển vị. $^{\top}$

Tôi không thể tìm thấy một bằng chứng ở bất cứ đâu. Tôi đã cố gắng bắt đầu từ các định nghĩa nhưng tôi không thể đạt được tiến bộ nào. Bất cứ ai cũng có thể đưa ra một số gợi ý?

— dave2d
nguồn

Mô tả của tôi về khoảng cách Mahalanobis ở dưới cùng để giải thích về khoảng cách Mahalanobis? bao gồm hai kết quả chính:

Theo định nghĩa, nó không thay đổi khi các biến hồi quy được thay đổi đồng đều.
Các phương khoảng cách mahalanobis giữa vectơ $x$ và $y$ được cho bởi
$D^{2} (x, y) = (x - y)^{'} Σ^{- 1} (x - y)$ $D^2(x,y) = (x-y)^\prime \Sigma^{-1}(x-y)$ nơi $\Sigma$ là hiệp phương sai của dữ liệu.

(1) cho phép chúng ta giả sử phương tiện của các biến hồi quy đều bằng không. Nó vẫn còn để tính $h_i$ . Tuy nhiên, để tuyên bố là đúng, chúng ta cần thêm một giả định:

Mô hình phải bao gồm một đánh chặn.

Cho phép điều này, hãy có $k \ge 0$ hồi quy và dữ liệu $n$ , viết giá trị của hồi quy $j$ để quan sát $i$ là $x_{ij}$ . Đặt vectơ cột của $n$ giá trị này cho biến hồi quy $j$ được viết $\mathbf{x}_{,j}$ và vectơ hàng của các giá trị $k$ này để quan sát $i$ được viết $\mathbf{x}_i$ . Thìma trận mô hìnhlà

X = (\begin{matrix} 1 & x_{11} & \dots & x_{1 k} \\ 1 & x_{21} & \dots & x_{2 k} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & x_{n 1} & \dots & x_{n k} \end{matrix})

$X = \pmatrix{ 1 &x_{11} &\cdots &x_{1k} \\ 1 &x_{21} &\cdots &x_{2k} \\ \vdots &\vdots &\vdots &\vdots \\ 1 &x_{n1} &\cdots &x_{nk}}$

và theo định nghĩa, ma trận mũ là

H = X (X^{'} X)^{- 1} X^{'},

$H = X(X^\prime X)^{-1} X^\prime,$

mục nhập của $i$ dọc theo đường chéo là

\begin{matrix} (1) & h_{i} = h_{i i} = (1; x_{i}) (X^{'} X)^{- 1} (1; x_{i})^{'} . \end{matrix}

$h_i = h_{ii} = (1; \mathbf{x}_i) (X^\prime X)^{-1} (1; \mathbf{x}_i)^\prime.\tag{1}$

Không có gì cho nó ngoài việc tìm ra ma trận trung tâm nghịch đảo - nhưng nhờ kết quả chính đầu tiên, thật dễ dàng, đặc biệt là khi chúng ta viết nó dưới dạng ma trận khối:

X^{'} X = n (\begin{matrix} 1 & 0^{'} \\ 0 & C \end{matrix})

$X^\prime X = n\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C}$

nơi $\mathbf{0} = (0,0,\ldots,0)^\prime$ và

C_{j k} = \frac{1}{n} \sum_{i = 1}^{n} x_{i j} x_{i k} = \frac{n - 1}{n} Cov (x_{j}, x_{k}) = \frac{n - 1}{n} Σ_{j k} .

$C_{jk} = \frac{1}{n} \sum_{i=1}^n x_{ij} x_{ik} = \frac{n-1}{n}\operatorname{Cov}(\mathbf{x}_j, \mathbf{x}_k) = \frac{n-1}{n}\Sigma_{jk}.$

(Tôi đã viết $\Sigma$ chomẫuma trận hiệp phương sai của hồi quy.) Bởi vì đây là khối chéo, nghịch đảo của nó có thể được tìm thấy bằng cách đảo ngược các khối:

(X^{'} X)^{- 1} = \frac{1}{n} (\begin{matrix} 1 & 0^{'} \\ 0 & C^{- 1} \end{matrix}) = (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) .

$(X^\prime X)^{-1} = \frac{1}{n}\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C^{-1}} = \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}.$

Từ định nghĩa $(1)$ chúng ta có được

\begin{aligned} h_{i} & = (1; x_{i}) (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) (1; x_{i})^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} x_{i} Σ^{- 1} x_{i}^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} D^{2} (x_{i}, 0) . \end{aligned}

$\eqalign{ h_i &= (1; \mathbf{x}_i) \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}(1; \mathbf{x}_i)^\prime \\ &=\frac{1}{n} + \frac{1}{n-1}\mathbf{x}_i \Sigma^{-1}\mathbf{x}_i^\prime \\ &=\frac{1}{n} + \frac{1}{n-1} D^2(\mathbf{x}_i, \mathbf{0}). }$

Giải phương trình bình phương Mahalanobis $D_i^2 = D^2(\mathbf{x}_i, \mathbf{0})$

D_{i}^{2} = (n - 1) (h_{i} - \frac{1}{n}),

$D_i^2 = (n-1)\left(h_i - \frac{1}{n}\right),$

QED .

$1/n$ $X$ $n-1$ $n-1$ $n$ ).

Giá trị chính của phân tích này là truyền đạt một giải thích hình học cho đòn bẩy, đo lường mức độ thay đổi của một đơn vị trong phản ứng khi quan sát $i$ sẽ thay đổi giá trị phù hợp tại quan sát đó: các quan sát đòn bẩy cao nằm ở khoảng cách Mahalanobis lớn từ tâm của các biến hồi quy, chính xác như một đòn bẩy hiệu quả cơ học hoạt động ở khoảng cách lớn từ điểm tựa của nó.

Mã R để chỉ ra rằng mối quan hệ thực sự giữ:

x <- mtcars

# Compute Mahalanobis distances
h <- hat(x, intercept = TRUE); names(h) <- rownames(mtcars)
M <- mahalanobis(x, colMeans(x), cov(x))

# Compute D^2 of the question
n <- nrow(x); D2 <- (n-1)*(h - 1/n)

# Compare.
all.equal(M, D2)               # TRUE
print(signif(cbind(M, D2), 3))

— whuber
nguồn

Câu trả lời tuyệt vời, rất tròn với sự nghiêm khắc và trực giác. Chúc mừng!

— cgrudz

Cảm ơn bài viết @whuber! Để kiểm tra độ tỉnh táo, đây là mã R để chỉ ra rằng mối quan hệ thực sự giữ: x <- mtcars rownames (x) <- NULL colnames (x) <- NULL n <- nrow (x) h <- hat (x, T) mahalanobis (x, colMeans (x), cov (x)) (n-1) * (h - 1 / n) all.equal (mahalanobis (x, colMeans (x), cov (x)), (n-1 ) * (h - 1 / n))

— Tal Galili

@Tal Tôi không nghĩ rằng tôi cần kiểm tra độ tỉnh táo - nhưng cảm ơn bạn về mã. :-) Tôi đã thực hiện các sửa đổi để làm rõ nó và đầu ra của nó một chút.

— whuber

@whuber, tôi muốn một ví dụ cho thấy cách làm cho sự bình đẳng hoạt động (nói rõ với tôi rằng tôi đã có những giả định đúng). Tôi cũng đã mở rộng mục nhập Wiki có liên quan: en.wikipedia.org/wiki/ Kẻ (cứ thoải mái chi tiêu cho nó ở đó, như bạn thấy phù hợp :))

— Tal Galili