Cách hiệu quả để tính khoảng cách giữa các tâm từ ma trận khoảng cách

Chúng ta hãy có ma trận đối xứng vuông của khoảng cách euclide bình phương giữa điểm và vectơ dài biểu thị thành viên cụm hoặc nhóm ( cụm) của các điểm; một cụm có thể bao gồm điểm.n n k ≥ $\bf D$$n$$n$$k$$\ge1$

Cách hiệu quả nhất hoặc thực sự hiệu quả (về tốc độ) để tính khoảng cách giữa các trọng tâm cụm ở đây là gì?

Cho đến nay tôi luôn luôn phân tích phối hợp hiệu trưởng trong tình huống này. Số tiền MDS của PCoA hoặc Torgerson để chuyển đổi thành ma trận các sản phẩm vô hướng ("định tâm kép") và sau đó thực hiện PCA của nó. Bằng cách này, chúng ta tạo tọa độ cho điểm trong không gian euclide mà chúng trải dài. Sau đó, thật dễ dàng để tính khoảng cách giữa các tâm theo cách thông thường - như bạn sẽ làm với dữ liệu. PCoA phải thực hiện phân rã eigen hoặc SVD của semidefinite dương đối xứng , nhưngS N S $\bf D$$\bf S$$n$grouped points x variablesn x n$\bf S$$n$có thể khá lớn Ngoài ra, nhiệm vụ không phải là giảm kích thước và chúng tôi thực sự không cần các trục chính trực giao đó. Vì vậy, tôi có cảm giác rằng những sự phân hủy này có thể là quá mức cần thiết.

Vì vậy, bạn có kiến ​​thức hoặc ý tưởng về một cách có khả năng nhanh hơn?

Đặt các điểm được lập chỉ mục , tất cả chúng trong R d . Đặt tôi là chỉ mục cho một cụm và các chỉ mục cho một cụm khác. Các trung tâm là$x_1, x_2, \ldots, x_n$$\mathbb{R}^d$$\mathcal{I}$$\mathcal{J}$

$$c_\mathcal{I} = \frac{1}{|\mathcal{I}|} \sum_{i\in\mathcal{I}} x_i,\ c_\mathcal{J} = \frac{1}{|\mathcal{J}|} \sum_{j\in\mathcal{J}} x_j$$

và mong muốn tìm khoảng cách bình phương của chúng về khoảng cách bình phương .D i j = | | x i - x j | | $||c_\mathcal{I} - c_\mathcal{J}||^2$$D_{ij} = ||x_i - x_j||^2$

Chính xác như chúng ta sẽ phá vỡ các tổng bình phương trong tính toán ANOVA, một danh tính đại số là

$$||c_\mathcal{I} - c_\mathcal{J}||^2 = \frac{1}{|\mathcal{I}||\mathcal{J}|} \left(SS(\mathcal{I \cup J}) -\left(|\mathcal{I}|+|\mathcal{J}|\right) \left(\frac{1}{|\mathcal{I}|}SS(\mathcal{I}) + \frac{1}{|\mathcal{J}|}SS(\mathcal{J})\right)\right)$$

trong đó " " chỉ tổng bình phương khoảng cách giữa mỗi điểm trong một tập hợp và tâm của chúng. Các sắc phân cực tái hiện này về khoảng cách bình phương giữa tất cả các điểm:$SS$

$$SS(\mathcal{K}) = \frac{1}{2}\sum_{i,j\,\in\,\mathcal{K}} ||x_i - x_j||^2 = \sum_{i\lt j\,\in\,\mathcal{K}} D_{ij}.$$

Do đó, nỗ lực tính toán là , với hằng số ẩn rất nhỏ. Khi các cụm có cùng kích thước và có trong số chúng, đây là , tỷ lệ thuận với số lượng mục trong : đó sẽ là mục tốt nhất có thể hy vọng.k O ( n 2 / k 2 ) $O((|\mathcal{I}|+|\mathcal{J}|)^2)$$k$$O(n^2/k^2)$$D$

---

R mã để minh họa và kiểm tra các tính toán sau.

ss <- function(x) {
  n <- dim(x)[2]
  i <- rep(1:n, n)
  j <- as.vector(t(matrix(i,n)))
  d <- matrix(c(1,1) %*% (x[,i] - x[,j])^2 , n) # The distance matrix entries for `x`
  sum(d[lower.tri(d)])
}
centroid <- function(x) rowMeans(x)
distance2 <- function(x,y) sum((x-y)^2)
#
# Generate two clusters randomly.
#
n.x <- 3; n.y <- 2
x <- matrix(rnorm(2*n.x), 2)
y <- matrix(rnorm(2*n.y), 2)
#
# Compare two formulae.
#
cat("Squared distance between centroids =",
    distance2(centroid(x), centroid(y)),
    "Equivalent value =", 
    (ss(cbind(x,y)) - (n.x + n.y) * (ss(x)/n.x + ss(y)/n.y)) / (n.x*n.y),
    "\n")