Sử dụng BIC để ước tính số lượng k trong KMEANS

Tôi hiện đang cố gắng tính BIC cho bộ dữ liệu đồ chơi của mình (ofc iris (:). Tôi muốn sao chép các kết quả như được hiển thị ở đây (Hình 5). Bài báo đó cũng là nguồn của tôi cho các công thức BIC.

Tôi có 2 vấn đề với điều này:

• Ký hiệu:
  • $n_i$ = số phần tử trong cụm$i$
  • $C_i$ = tọa độ trung tâm của cụm$i$
  • $x_j$ = điểm dữ liệu được gán cho cụm$i$
  • $m$ = số cụm

1) Phương sai như được định nghĩa trong biểu thức. (2):

Theo như tôi có thể thấy nó có vấn đề và không được đề cập rằng phương sai có thể âm khi có nhiều cụm hơn các phần tử trong cụm. Điều này có đúng không?$m$

2) Tôi chỉ không thể làm cho mã của mình hoạt động để tính BIC chính xác. Hy vọng không có lỗi, nhưng nó sẽ được đánh giá cao nếu ai đó có thể kiểm tra. Toàn bộ phương trình có thể được tìm thấy trong phương trình. (5) trong bài báo. Tôi đang sử dụng scikit learn cho mọi thứ ngay bây giờ (để biện minh cho từ khóa: P).

from sklearn import cluster
from scipy.spatial import distance
import sklearn.datasets
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt
import numpy as np

def compute_bic(kmeans,X):
    """
    Computes the BIC metric for a given clusters

    Parameters:
    -----------------------------------------
    kmeans:  List of clustering object from scikit learn

    X     :  multidimension np array of data points

    Returns:
    -----------------------------------------
    BIC value
    """
    # assign centers and labels
    centers = [kmeans.cluster_centers_]
    labels  = kmeans.labels_
    #number of clusters
    m = kmeans.n_clusters
    # size of the clusters
    n = np.bincount(labels)
    #size of data set
    N, d = X.shape

    #compute variance for all clusters beforehand
    cl_var = [(1.0 / (n[i] - m)) * sum(distance.cdist(X[np.where(labels == i)], [centers[0][i]], 'euclidean')**2)  for i in xrange(m)]

    const_term = 0.5 * m * np.log10(N)

    BIC = np.sum([n[i] * np.log10(n[i]) -
           n[i] * np.log10(N) -
         ((n[i] * d) / 2) * np.log10(2*np.pi) -
          (n[i] / 2) * np.log10(cl_var[i]) -
         ((n[i] - m) / 2) for i in xrange(m)]) - const_term

    return(BIC)



# IRIS DATA
iris = sklearn.datasets.load_iris()
X = iris.data[:, :4]  # extract only the features
#Xs = StandardScaler().fit_transform(X)
Y = iris.target

ks = range(1,10)

# run 9 times kmeans and save each result in the KMeans object
KMeans = [cluster.KMeans(n_clusters = i, init="k-means++").fit(X) for i in ks]

# now run for each cluster the BIC computation
BIC = [compute_bic(kmeansi,X) for kmeansi in KMeans]

plt.plot(ks,BIC,'r-o')
plt.title("iris data  (cluster vs BIC)")
plt.xlabel("# clusters")
plt.ylabel("# BIC")

Kết quả của tôi cho BIC trông như thế này:

Điều này thậm chí không gần với những gì tôi đã mong đợi và cũng không có ý nghĩa gì cả ... Tôi đã xem xét các phương trình bây giờ và không nhận được bất kỳ sai lầm nào nữa):

Có vẻ như bạn có một vài lỗi trong công thức của mình, như được xác định bằng cách so sánh với:

• https://www.cs.cmu.edu/~dpelleg/doad/xmeans.pdf (có một số lỗi trong bài viết)
• https://github.com/bobhancock/goxmeans/blob/master/km.go
• https://github.com/mynameisfiber/pyxmeans/blob/master/pyxmeans/xmeans.py
• https://github.com/bobhancock/goxmeans/blob/master/doc/BIC_notes.pdf

1.

np.sum([n[i] * np.log(n[i]) -
               n[i] * np.log(N) -
             ((n[i] * d) / 2) * np.log(2*np.pi) -
              (n[i] / 2) * np.log(cl_var[i]) -
             ((n[i] - m) / 2) for i in range(m)]) - const_term

Ở đây có ba lỗi trong bài báo, dòng thứ tư và thứ năm thiếu hệ số d, dòng cuối cùng thay thế m cho 1. Nó phải là:

np.sum([n[i] * np.log(n[i]) -
               n[i] * np.log(N) -
             ((n[i] * d) / 2) * np.log(2*np.pi*cl_var) -
             ((n[i] - 1) * d/ 2) for i in range(m)]) - const_term

2.

Các const_term:

const_term = 0.5 * m * np.log(N)

nên là:

const_term = 0.5 * m * np.log(N) * (d+1)

3.

Công thức phương sai:

cl_var = [(1.0 / (n[i] - m)) * sum(distance.cdist(p[np.where(label_ == i)], [centers[0][i]], 'euclidean')**2)  for i in range(m)]

nên là một vô hướng:

cl_var = (1.0 / (N - m) / d) * sum([sum(distance.cdist(p[np.where(labels == i)], [centers[0][i]], 'euclidean')**2) for i in range(m)])

4.

Sử dụng nhật ký tự nhiên, thay vì nhật ký cơ sở10 của bạn.

5.

Cuối cùng, và quan trọng nhất, BIC bạn đang tính toán có dấu hiệu nghịch đảo từ định nghĩa thông thường. vì vậy bạn đang tìm cách tối đa hóa thay vì giảm thiểu

Đây là giải pháp cơ bản cho mắt, với một vài ghi chú .. Tôi chỉ cần gõ nó ra nếu ai đó muốn sao chép / dán nhanh:

Ghi chú:

1. Nhận xét thứ 4 không đúng np.log đã là một bản ghi tự nhiên, không cần thay đổi

2. Eyalers Nhận xét thứ 5 về nghịch đảo là chính xác. Trong mã bên dưới, bạn đang tìm kiếm MAXIMUM - hãy nhớ rằng ví dụ này có số BIC âm

Mã như sau (một lần nữa, tất cả tín dụng cho người xem):

from sklearn import cluster
from scipy.spatial import distance
import sklearn.datasets
from sklearn.preprocessing import StandardScaler
import numpy as np

def compute_bic(kmeans,X):
    """
    Computes the BIC metric for a given clusters

    Parameters:
    -----------------------------------------
    kmeans:  List of clustering object from scikit learn

    X     :  multidimension np array of data points

    Returns:
    -----------------------------------------
    BIC value
    """
    # assign centers and labels
    centers = [kmeans.cluster_centers_]
    labels  = kmeans.labels_
    #number of clusters
    m = kmeans.n_clusters
    # size of the clusters
    n = np.bincount(labels)
    #size of data set
    N, d = X.shape

    #compute variance for all clusters beforehand
    cl_var = (1.0 / (N - m) / d) * sum([sum(distance.cdist(X[np.where(labels == i)], [centers[0][i]], 
             'euclidean')**2) for i in range(m)])

    const_term = 0.5 * m * np.log(N) * (d+1)

    BIC = np.sum([n[i] * np.log(n[i]) -
               n[i] * np.log(N) -
             ((n[i] * d) / 2) * np.log(2*np.pi*cl_var) -
             ((n[i] - 1) * d/ 2) for i in range(m)]) - const_term

    return(BIC)



# IRIS DATA
iris = sklearn.datasets.load_iris()
X = iris.data[:, :4]  # extract only the features
#Xs = StandardScaler().fit_transform(X)
Y = iris.target

ks = range(1,10)

# run 9 times kmeans and save each result in the KMeans object
KMeans = [cluster.KMeans(n_clusters = i, init="k-means++").fit(X) for i in ks]

# now run for each cluster the BIC computation
BIC = [compute_bic(kmeansi,X) for kmeansi in KMeans]

print BIC