Thuật toán phân loại dựa trên khoảng cách trung bình từ điểm kiểm tra đến điểm trong mỗi lớp

Có thuật toán phân loại nào gán một vectơ kiểm tra mới cho cụm điểm có khoảng cách trung bình là tối thiểu không?

Hãy để tôi viết nó tốt hơn: Hãy tưởng tượng rằng chúng ta có $K$mỗi cụm điểm. Với mỗi cụm k, tôi tính trung bình của tất cả các khoảng cách giữa và , trong đó là một điểm trong cụm .$T_k$$x(0)$$x(i)$$x(i)$$k$

Điểm kiểm tra được gán cho cụm với khoảng cách tối thiểu như vậy.

Bạn có nghĩ rằng đây là một thuật toán phân loại hợp lệ? Về lý thuyết, nếu cụm "được hình thành tốt" như bạn có sau khi ánh xạ phân biệt đối xử được đánh dấu tuyến tính, chúng ta sẽ có thể có độ chính xác phân loại tốt.

Bạn nghĩ gì về thuật toán này? Tôi đã thử nhưng kết quả là việc phân loại rất thiên về cụm có số lượng phần tử lớn nhất.

def classify_avg_y_space(logging, y_train, y_tests, labels_indices):
    my_labels=[]
    distances=dict()
    avg_dist=dict()
    for key, value in labels_indices.items():
        distances[key] = sk.metrics.pairwise.euclidean_distances(y_tests, y_train[value])
        avg_dist[key]=np.average(distances[key], axis=1)

    for index, value in enumerate(y_tests):
      average_distances_test_cluster = { key : avg_dist[key][index] for key in labels_indices.keys() }
      my_labels.append(min(average_distances_test_cluster, key=average_distances_test_cluster.get))
    return my_labels

Đó là một ý tưởng hay, nhưng có một lỗ hổng lớn - nó quá nhạy cảm với sự lan truyền của dữ liệu.

Để làm rõ câu hỏi, đưa ra $k$ rời cụm $C_1, \ldots, C_k$, bạn hỏi liệu có hợp lý để phân loại một mẫu mới không $x^*$ theo quy tắc

$$\arg\min_{i\in \left[k\right]} \frac{1}{\left| C_i \right|} \sum_{x \in C_i } \left\Vert x - x^*\right\Vert$$

Lưu ý rằng quy tắc này thực sự giống với quy tắc tồn tại như các thuật toán nổi tiếng, như thực tế là 1-Hàng xóm gần nhất hoặc mà được gọi , nhưng được sử dụng bởi k-Phương tiện giao cụm và có thể được nhìn thấy trong LDA trong trường hợp hiệp phương sai cơ bản ma trận là danh tính (lên đến vô hướng). (Lưu ý rằng nói chung, LDA cũng tính đến hình dạng [lây lan + định hướng] của các cụm).

$$\arg\min_{i\in \left[k\right]} \min_{x \in C_i } \left\Vert x- x^*\right\Vert$$ $$\arg\min_{i\in \left[k\right]} \left\Vert \frac{1}{\left| C_i \right|} \sum_{x \in C_i }x - x^*\right\Vert$$ sklearnNearestCentroid

Trong nhiều trường hợp, quy tắc đề xuất sẽ hành xử tương tự NearestCentroid, đặc biệt là nếu các cụm được phân tách tốt và có phương sai tương tự (trong trường hợp đó, tôi nghĩ có thể giới hạn khoảng cách trung bình theo khoảng cách từ tâm).

Tuy nhiên, vì nó tính trung bình khoảng cách trên tất cả các điểm trong cụm, nên nó thiên vị một cách rõ ràng đối với các cụm có phương sai thấp. Tôi tin là nguồn gốc thực sự của sự hiểu lầm mà bạn nhận thấy.

Để minh họa hiệu ứng này, chúng ta có thể vẽ ranh giới quyết định của các phân loại. Lô đang trơ trẽn dựa trên sklearn's dụ .

Trong cốt truyện trước, tôi đã tạo hai bộ dữ liệu từ các bản phân phối bình thường khác nhau. Màu tím đến từ và màu vàng đến từ Sau đó, mỗi điểm trong không gian được tô màu theo quy tắc. Đường phân cách các vùng là ranh giới quyết định. Có 200 điểm trong cụm màu tím và 50 điểm trong cụm màu vàng. Các điểm đánh dấu trọng tâm của từng cụm. Lưu ý rằng cụm màu tím không được căn chỉnh với các trục để nhấn mạnh sự khác biệt giữa LDA và Centroid gần nhất.

$$\mathcal{N}\left(\begin{pmatrix}0 \\ 3\end{pmatrix}, \begin{pmatrix}10 & 2 \\ 2 & 1\end{pmatrix}^2\right)$$ $$\mathcal{N}\left(\begin{pmatrix}0 \\ -3\end{pmatrix}, \begin{pmatrix}1 & 0 \\ 0 & 1\end{pmatrix}\right)$$ +