Tôi đã suy nghĩ về việc viết một bài đăng trên blog về phân tích thú vị này của Kleinberg (2002) để khám phá những khó khăn của việc phân cụm. Kleinberg phác thảo ba desiderata dường như trực quan cho một chức năng phân cụm và sau đó chứng minh rằng không có chức năng như vậy tồn tại. Có nhiều thuật toán phân cụm làm bão hòa hai trong ba tiêu chí; tuy nhiên, không có chức năng nào có thể thỏa mãn cả ba cùng một lúc.

Ngắn gọn và không chính thức, ba desiderata mà ông phác thảo là:

• Bất biến tỷ lệ : Nếu chúng ta biến đổi dữ liệu để mọi thứ được kéo dài bằng nhau theo mọi hướng, thì kết quả phân cụm không nên thay đổi.
• Tính nhất quán : Nếu chúng tôi kéo dài dữ liệu để khoảng cách giữa các cụm tăng và / hoặc khoảng cách trong các cụm giảm, thì kết quả phân cụm không nên thay đổi.
• Độ phong phú : Về mặt lý thuyết, chức năng phân cụm có thể tạo ra bất kỳ phân vùng / cụm dữ liệu tùy ý nào (trong trường hợp không biết khoảng cách cặp giữa hai điểm bất kỳ)

Câu hỏi:

(1) Có một trực giác tốt, hình ảnh hình học có thể cho thấy sự không nhất quán giữa ba tiêu chí này?

(2) Điều này đề cập đến các chi tiết kỹ thuật cho bài báo. Bạn sẽ phải đọc liên kết ở trên để hiểu phần này của câu hỏi.

Trong bài báo, việc chứng minh định lý 3.1 hơi khó để tôi theo dõi tại các điểm. Tôi bị mắc kẹt tại: "Gọi $f$ là hàm phân cụm thỏa mãn tính nhất quán. Chúng tôi khẳng định rằng với bất kỳ phân vùng nào $\Gamma \in \text{Range}(f)$ , tồn tại các số thực dương $a < b$ sao cho cặp $(a, b)$ là $\Gamma$ - buộc. "

Tôi không thấy làm thế nào điều này có thể xảy ra ... Không phải phân vùng bên dưới một ví dụ ngược lại trong đó $a > b$ (tức là khoảng cách tối thiểu giữa các cụm lớn hơn khoảng cách tối đa trong các cụm)?

Chỉnh sửa: đây rõ ràng không phải là một ví dụ, tôi đã tự nhầm lẫn (xem câu trả lời).

• Ackerman & Ben-David (2009). Các biện pháp về chất lượng phân cụm: Một bộ các phương pháp làm việc để phân cụm
  • Chỉ ra một số vấn đề với tiên đề "nhất quán"

Bằng cách này hay cách khác, mọi thuật toán phân cụm đều dựa trên một số khái niệm về điểm gần kề điểm của điểm. Có vẻ như trực giác rõ ràng rằng bạn có thể sử dụng một khái niệm tương đối (bất biến tỷ lệ) hoặc một khái niệm tuyệt đối (nhất quán) về sự gần gũi, nhưng không phải cả hai .

Trước tiên tôi sẽ cố gắng minh họa điều này bằng một ví dụ, và sau đó tiếp tục nói cách trực giác này phù hợp với Định lý của Kleinberg.

Một ví dụ minh họa

Giả sử chúng ta có hai bộ và S 2 của 270 điểm mỗi, sắp xếp trên mặt phẳng như thế này:$S_1$$S_2$$270$

$\hskip{6em}$

Bạn có thể không thấy điểm trong một trong hai bức ảnh này, nhưng đó chỉ là do nhiều điểm rất gần nhau. Chúng tôi thấy nhiều điểm hơn khi chúng tôi phóng to:$270$

$\hskip{3em}$

Có lẽ bạn sẽ tự phát đồng ý rằng, trong cả hai tập dữ liệu, các điểm được sắp xếp thành ba cụm. Tuy nhiên, hóa ra nếu bạn phóng to bất kỳ cụm nào trong ba cụm , bạn sẽ thấy như sau:$S_2$

$\hskip{3em}$

Nếu bạn tin vào một khái niệm tuyệt đối về sự gần gũi hoặc tính nhất quán, bạn vẫn sẽ duy trì điều đó, bất kể những gì bạn vừa thấy dưới kính hiển vi, chỉ gồm ba cụm. Thật vậy, sự khác biệt duy nhất giữa S 1 và S 2 là, trong mỗi cụm, một số điểm hiện đang ở gần nhau hơn. Mặt khác, nếu bạn tin vào một khái niệm tương đối về sự gần gũi hoặc bất biến quy mô, bạn sẽ cảm thấy có khuynh hướng cho rằng S 2 không chỉ gồm 3 mà là 3 × 3 = 9 cụm. Cả hai quan điểm này đều không đúng, nhưng bạn phải đưa ra lựa chọn theo cách này hay cách khác.$S_2$$S_1$$S_2$$S_2$$3$$3×3 = 9$

Một trường hợp cho bất biến isometry

Nếu bạn so sánh trực giác ở trên với Định lý của Kleinberg, bạn sẽ thấy rằng chúng hơi bất hòa. Thật vậy, Định lý của Kleinberg dường như nói rằng bạn có thể đạt được sự bất biến quy mô và tính nhất quán đồng thời miễn là bạn không quan tâm đến một tài sản thứ ba gọi là sự giàu có. Tuy nhiên, sự giàu có không phải là tài sản duy nhất bạn mất nếu bạn đồng thời nhấn mạnh vào tính bất biến và quy mô nhất quán. Bạn cũng mất một tài sản cơ bản khác: isometry-bất biến. Đây là một tài sản mà tôi sẽ không sẵn sàng hy sinh. Vì nó không xuất hiện trong bài báo của Kleinberg, tôi sẽ ở đó một lát.

$k$$2$Điều kiện dừng hoàn toàn sẽ đưa ra các câu trả lời khác nhau tùy theo việc bạn dán nhãn ba điểm của bạn là Câm mèo, chú chó, chú chuột, chú chuột, người hay chú chuột (c <d <m) hay là <S <T):

$\hskip{6em}$

$k$$(≤ k)$ $k$$k$

$S$$S$$S$

$Γ$$d$$d'$$i$$i(x)$$i(y)$$Γ(d')$$x$$y$$Γ(d)$

$S$$S$$S$

$\hskip{6em}$

Một biến thể của Định lý Kleinberg

Trực giác đưa ra ở trên được nắm bắt bởi biến thể sau của Định lý Kleinberg.

Định lý: Không có thuật toán phân cụm isometry-bất biến không đồng nhất mà là đồng nhất và bất biến tỷ lệ.

Ở đây, bằng một thuật toán phân cụm tầm thường , ý tôi là một trong hai thuật toán sau:

1. $S$

2. $S$

Yêu cầu là các thuật toán ngớ ngẩn này là hai thuật toán bất biến đẳng hình duy nhất vừa nhất quán vừa bất biến tỷ lệ.

$S$$Γ$$d₁$$S$$d₁(x,y) = 1$$x ≠ y$$S$$Γ$$Γ(d₁)$$Γ(d₁)$$Γ(d₁)$$Γ(d₁)$$d$$S$$≥ 1$$d$$Γ(d) = Γ(d₁)$$Γ$$Γ(d₁)$$d$$S$$≤ 1$$Γ(d)=Γ(d₁)$$Γ$

Tất nhiên, bằng chứng này rất gần với tinh thần của bằng chứng Margareta Ackerman về định lý ban đầu của Kleinberg, được thảo luận trong câu trả lời của Alex Williams.

Đây là trực giác tôi nghĩ ra (một đoạn trích từ bài đăng trên blog của tôi ở đây ).

$d_1$$d_2$$d_3$$d_2$$d_3$$d_1$$d_1 \rightarrow d_3$$d_2 \rightarrow d_3$