k-nghĩa là | | aka K-Means ++ có thể mở rộng

Bahman Bahmani et al. giới thiệu k-nghĩa | |, đây là phiên bản nhanh hơn của k-nghĩa ++.

Thuật toán này được lấy từ trang 4 của bài báo của họ , Bahmani, B., Moseley, B., Vattani, A., Kumar, R., & Vassilvitskii, S. (2012). Khả năng mở rộng k-nghĩa là ++. Thủ tục tố tụng của VLDB , 5 (7), 622-633.

Thật không may, tôi không hiểu những chữ cái Hy Lạp lạ mắt này, vì vậy tôi cần một số trợ giúp để hiểu cách thức hoạt động của nó. Theo như tôi hiểu thì thuật toán này là phiên bản cải tiến của k-mean ++ và nó sử dụng oversampling, để giảm số lần lặp: k-mean ++ phải lặp lại $k$ lần, trong đó là số cụm mong muốn.$k$

Tôi đã có một lời giải thích rất tốt thông qua một ví dụ cụ thể về cách k-mean ++ hoạt động, vì vậy tôi sẽ sử dụng lại ví dụ tương tự.

Thí dụ

Tôi có bộ dữ liệu sau:

(7.1), (3,4), (1,5), (5,8), (1,3), (7,8), (8.2), (5,9), (8 , 0)

(số cụm mong muốn)$k = 3$

(oversampling yếu tố)$\ell = 2$

Tôi bắt đầu tính toán nó, nhưng tôi không chắc là mình đã hiểu đúng chưa, và không biết gì về Bước 2, 4 hoặc 5.

• Bước 1: lấy mẫu một điểm thống nhất ngẫu nhiên từ $\mathcal{C} \leftarrow$$X$

  Giả sử trọng tâm đầu tiên là (giống như trong k-mean ++)$(8,0)$

• Bước 2: $\psi \leftarrow \phi_X(\mathcal{C})$

  không ý kiến

• Bước 3:

  • $d^2(x, \mathcal{C}) = [2, 41, 74, 73, 58, 65, 4, 90]$

    Chúng tôi tính toán khoảng cách bình phương đến trung tâm gần nhất với mỗi điểm. Trong trường hợp này, chúng tôi chỉ có một trung tâm cho đến nay, .$(8,0)$

  • $\ell \cdot d^2(x, \mathcal{C}) = [4, 81, 148, 146, 116, 130, 8, 180]$

    (Bởi vì trong trường hợp này.)$\ell = 2$

  • $\text{cumulative } \ell \cdot d^2(x, \mathcal{C}) = [4, 85, 233, 379, 495, 625, 633, 813]$

    chọn số ngẫu nhiên trong khoảng [ 0 , 813 ) . Giả sử bạn chọn 246,90 và 659,42 . Chúng nằm trong phạm vi [ 379 , 495 ) và [ 633 , 813 ) tương ứng với các mục thứ 4 và thứ 8.$\ell = 2$$[0, 813)$$246.90$$659.42$$[379, 495)$$[633, 813)$

  • Lặp lại nó lần, nhưng là những gì ψ (tính ở bước 2) trong trường hợp này? $\mathcal{O}(\log \psi)$$\psi$

• Bước 4: Đối với , bộ w x là số điểm trong X gần gũi hơn với x hơn bất kỳ thời điểm nào trong C .$x \in \mathcal{C}$$w_x$$X$$x$$\mathcal{C}$
• Bước 5: Sắp xếp lại các điểm có trọng số trong thành các cụm k .$\mathcal{C}$$k$

Bất kỳ trợ giúp nói chung hoặc trong ví dụ cụ thể này sẽ là tuyệt vời.

điểm dữ liệu: (7.1), (3,4), (1,5), (5,8), (1,3), (7,8), (8.2), (5,9) , (8,0)

l = 2 // hệ số bội số

k = 3 // không. của cụm mong muốn

Bước 1:

Giả sử trọng tâm đầu tiên là là { c 1 } = { ( 8 , 0 ) } . X = { x 1 , x 2 , x 3 , x 4 , x 5 , x 6 , x 7 , x 8 } 5 ) , ( 5 , 8 ) , ( 1 , 3 ) , $\mathcal{C}$$\{ c_1\} = \{ (8,0) \}$$X = \{x_1,x_2,x_3,x_4,x_5,x_6,x_7,x_8\}=\{(7,1),(3,4),(1,5),(5,8),(1,3),(7,8),(8,2),(5,9)\}$

Bước 2:

là tổng của tất cả các khoảng cách 2-norm nhỏ nhất (khoảng cách Euclide) từ tất cả các điểm từ tập X đến tất cả các điểm từ C . Nói cách khác, đối với mỗi điểm trong X tìm ra khoảng cách đến điểm gần nhất trong C , cuối cùng tính tổng của tất cả những khoảng cách tối thiểu, một cho mỗi điểm trong X .$\phi_X(\mathcal{C})$$X$$\mathcal{C}$$X$$\mathcal{C}$$X$

Biểu thị với là khoảng cách từ x i đến điểm gần nhất trong C . Sau đó chúng tôi có ψ = Σ n i = 1 d 2 C ( x i ) .$d^2_{\mathcal{C}}(x_i)$$x_i$$\mathcal{C}$$\psi = \sum_{i=1}^{n}d^2_{\mathcal{C}}(x_i)$

Ở bước 2, chứa một phần tử duy nhất (xem bước 1) và X là tập hợp của tất cả các phần tử. Do đó trong bước này, d 2 C ( x i ) chỉ đơn giản là khoảng cách giữa điểm trong C và x i . Do đó φ = Σ n i = 1 | | $\mathcal{C}$$X$$d^2_{\mathcal{C}}(x_i)$$\mathcal{C}$$x_i$ .$\phi = \sum_{i=1}^{n}{||x_i-c||^2}$

l o g ( ψ ) = l o g ( 52.128 ) = 3.95 = 4 ( r o u n d e $\psi = \sum_{i=1}^nd^2(x_i,c_1) = 1.41+6.4+8.6+8.54+7.61+8.06+2+9.4 = 52.128$ $log(\psi) = log(52.128) = 3.95 = 4 (rounded)$

Tuy nhiên, lưu ý rằng trong bước 3, công thức chung được áp dụng vì sẽ chứa nhiều hơn một điểm.$\mathcal{C}$

Bước 3:

Các cho vòng lặp được thực hiện cho tính toán trước đây.$log(\psi)$

Các bản vẽ không giống như bạn hiểu. Các bản vẽ là độc lập, có nghĩa là bạn sẽ thực hiện một trận hòa cho mỗi điểm trong . Vì vậy, với mỗi điểm trong X , ký hiệu là x i , hãy tính xác suất từ p x = l d 2 ( x , C ) / ϕ X ( C ) . Ở đây bạn có l là một yếu tố được cho là tham số, d 2 ( x , $X$$X$$x_i$$p_x = l d^2(x,\mathcal{C})/\phi_X(\mathcal{C})$$l$ là khoảng cách đến trung tâm gần nhất, và φ X ( C$d^2(x,\mathcal{C})$$\phi_X(\mathcal{C})$ được giải thích ở bước 2.

Thuật toán chỉ đơn giản là:

• lặp đi lặp lại trong để tìm tất cả x $X$$x_i$
• cho mỗi $x_i$ tính $p_{x_i}$
• tạo số đồng nhất trong , nếu nhỏ hơn p x $[0, 1]$$p_{x_i}$ chọn nó để tạo thành $\mathcal{C'}$
• sau khi bạn thực hiện tất cả các lần rút bao gồm các điểm được chọn từ vào$\mathcal{C'}$$\mathcal{C}$

Lưu ý rằng ở mỗi bước 3 được thực hiện trong lần lặp (dòng 3 của thuật toán gốc) bạn sẽ chọn điểm từ X (điều này dễ dàng được hiển thị bằng cách viết trực tiếp công thức cho kỳ vọng).$l$$X$

for(int i=0; i<4; i++) {

  // compute d2 for each x_i
  int[] psi = new int[X.size()];
  for(int i=0; i<X.size(); i++) {
    double min = Double.POSITIVE_INFINITY;
    for(int j=0; j<C.size(); j++) {
      if(min>d2(x[i],c[j])) min = norm2(x[i],c[j]);
    }
    psi[i]=min;
  }

  // compute psi
  double phi_c = 0;
  for(int i=0; i<X.size(); i++) phi_c += psi[i];

  // do the drawings
  for(int i=0; i<X.size(); i++) {
    double p_x = l*psi[i]/phi;
    if(p_x >= Random.nextDouble()) {
      C.add(x[i]);
      X.remove(x[i]);
    }
  }
}
// in the end we have C with all centroid candidates
return C;

Bước 4:

Một thuật toán đơn giản cho điều đó là để tạo ra một vector kích thước tương đương với số lượng của các nguyên tố trong C , và khởi tạo tất cả các giá trị của nó với 0 . Bây giờ lặp lại trong X (các phần tử không được chọn là centroid) và với mỗi x i ∈ X , hãy tìm chỉ số j của centroid gần nhất (phần tử từ C ) và tăng w [ j ] với 1 . Cuối cùng, bạn sẽ có vector w được tính toán chính xác.$w$$\mathcal{C}$$0$$X$$x_i \in X$$j$$\mathcal{C}$$w[j]$$1$$w$

double[] w = new double[C.size()]; // by default all are zero
for(int i=0; i<X.size(); i++) {
  double min = norm2(X[i], C[0]);
  double index = 0;
  for(int j=1; j<C.size(); j++) {
    if(min>norm2(X[i],C[j])) {
      min = norm2(X[i],C[j]);
      index = j;
    }
  }
  // we found the minimum index, so we increment corresp. weight
  w[index]++;
}

Bước 5:

$w$$k$$k$$p(i) = w(i)/\sum_{j=1}^m{w_j}$

for(int k=0; k<K; k++) {
  // select one centroid from candidates, randomly, 
  // weighted by w
  // see kmeans++ and you first idea (which is wrong for step 3)
  ... 
}  

Tất cả các bước trước tiếp tục, như trong trường hợp kmeans ++, với dòng chảy bình thường của thuật toán phân cụm

Tôi hy vọng là rõ ràng hơn bây giờ.

[Sau này, chỉnh sửa sau]

Tôi cũng tìm thấy một bài thuyết trình được thực hiện bởi các tác giả, trong đó bạn không thể rõ ràng rằng ở mỗi lần lặp, nhiều điểm có thể được chọn. Bài thuyết trình ở đây .

[Sau này chỉnh sửa vấn đề của @ pera]

$log(\psi)$

$C$$log(\psi)$

Một điều cần lưu ý là ghi chú sau trên cùng một trang có ghi:

Trong thực tế, kết quả thử nghiệm của chúng tôi trong Phần 5 cho thấy chỉ một vài vòng là đủ để đạt được một giải pháp tốt.

Điều đó có nghĩa là bạn có thể chạy thuật toán không cho $log(\psi)$ lần, nhưng trong một thời gian nhất định.