Tại sao khoảng cách Euclide không phải là một số liệu tốt trong kích thước cao?

Tôi đọc rằng 'Khoảng cách Euclide không phải là khoảng cách tốt trong các chiều cao'. Tôi đoán câu nói này có liên quan đến lời nguyền của chiều, nhưng chính xác thì sao? Bên cạnh đó, "kích thước cao" là gì? Tôi đã áp dụng phân cụm theo phân cấp bằng khoảng cách Euclide với 100 tính năng. Có bao nhiêu tính năng 'an toàn' để sử dụng số liệu này?

Một bản tóm tắt tuyệt vời về kết quả không trực quan ở các chiều cao hơn đến từ " Một vài điều hữu ích cần biết về học máy " của Pedro Martinsos tại Đại học Washington:

[O] trực giác của bạn, xuất phát từ một thế giới ba chiều, thường không áp dụng trong những chiều cao. Trong các kích thước cao, phần lớn khối lượng của phân phối Gaussian đa biến không ở gần giá trị trung bình, nhưng trong một lớp vỏ ngày càng xa xôi xung quanh nó; và hầu hết thể tích của một quả cam có chiều cao nằm trong da chứ không phải ở cùi. Nếu một số lượng ví dụ không đổi được phân phối đồng đều trong một hypercube chiều cao, ngoài một số chiều, hầu hết các ví dụ gần với một mặt của hypercube hơn so với hàng xóm gần nhất của chúng. Và nếu chúng ta ước tính một siêu cầu bằng cách ghi nó vào một hypercube, thì ở các kích thước cao, hầu như tất cả thể tích của hypercube đều nằm ngoài siêu cầu. Đây là tin xấu cho máy học, trong đó hình dạng của một loại thường được xấp xỉ bằng hình dạng của loại khác.

Bài viết này cũng có rất nhiều viên ngọc thông thái bổ sung cho máy học.

Một ứng dụng khác, ngoài học máy, là tìm kiếm hàng xóm gần nhất: được quan sát về mối quan tâm, tìm hàng xóm gần nhất của nó (theo nghĩa đó là những điểm có khoảng cách nhỏ nhất từ ​​điểm truy vấn). Nhưng ở các chiều cao, một hiện tượng tò mò xuất hiện: tỷ lệ giữa các điểm gần nhất và xa nhất tiếp cận 1, tức là các điểm về cơ bản trở nên cách xa nhau. Hiện tượng này có thể được quan sát đối với nhiều số liệu khoảng cách khác nhau, nhưng nó được phát hiện rõ hơn cho số liệu Euclide hơn là, số liệu khoảng cách Manhattan. Tiền đề của tìm kiếm hàng xóm gần nhất là các điểm "gần hơn" có liên quan nhiều hơn các điểm "xa hơn", nhưng nếu tất cả các điểm về cơ bản là cách xa nhau, thì sự khác biệt là vô nghĩa.

Từ Charu C. Aggarwal, Alexander Hinneburg, Daniel A. Keim, " Về hành vi đáng ngạc nhiên của các số liệu khoảng cách trong không gian chiều cao ":

Người ta đã tranh luận trong [Kevin Beyer, Jonathan Goldstein, Raghu Ramakrishnan, Uri Trục, " Khi nào là 'Hàng xóm gần nhất' có ý nghĩa? "] Theo các giả định hợp lý nhất định về phân phối dữ liệu, tỷ lệ khoảng cách của các nước láng giềng gần nhất và xa nhất đến một mục tiêu nhất định trong không gian chiều cao là gần 1 cho nhiều phân phối dữ liệu và các hàm khoảng cách. Trong trường hợp như vậy, vấn đề lân cận gần nhất trở nên không xác định, vì sự tương phản giữa khoảng cách đến các điểm dữ liệu khác nhau không tồn tại. Trong những trường hợp như vậy, ngay cả khái niệm về sự gần gũi có thể không có ý nghĩa từ góc độ định tính: một vấn đề thậm chí còn cơ bản hơn sự suy giảm hiệu suất của các thuật toán chiều cao.

... Nhiều cấu trúc và thuật toán lập chỉ mục chiều cao sử dụng thước đo khoảng cách hạt nhân [E] như một phần mở rộng tự nhiên của việc sử dụng truyền thống của nó trong các ứng dụng không gian hai hoặc ba chiều. ... Trong bài báo này, chúng tôi cung cấp một số kết quả lý thuyết và thực nghiệm đáng ngạc nhiên trong việc phân tích sự phụ thuộc của định mức vào giá trị của . Cụ thể hơn, chúng tôi cho thấy rằng độ tương phản tương đối của khoảng cách đến điểm truy vấn phụ thuộc rất nhiều vào số liệu được sử dụng. Điều này cung cấp bằng chứng đáng kể rằng ý nghĩa của định mức trở nên nhanh hơn trong việc tăng tính chiều cho các giá trị cao hơn . Do đó, đối với một vấn đề nhất định với giá trị cố định (cao) cho thứ nguyên$L_k$$k$$L_k$$L_k$$k$$d$, có thể tốt hơn là sử dụng các giá trị thấp hơn của . Điều này có nghĩa là số liệu khoảng cách (số liệu khoảng cách Manhattan) là ưu tiên nhất cho các ứng dụng có chiều cao, tiếp theo là số liệu Euclide ( ). ...$k$$L_1$$L_2$

Các tác giả của bài báo "Hành vi đáng ngạc nhiên" sau đó đề xuất sử dụng các chỉ tiêu với . Họ tạo ra một số kết quả chứng minh rằng các "định mức phân đoạn" này thể hiện tính chất của việc tăng độ tương phản giữa các điểm xa nhất và gần nhất. Điều này có thể hữu ích trong một số bối cảnh, tuy nhiên có một cảnh báo: những "chỉ tiêu phân số" này không phải là số liệu khoảng cách thích hợp vì chúng vi phạm bất đẳng thức tam giác. Nếu bất đẳng thức tam giác là một phẩm chất quan trọng cần có trong nghiên cứu của bạn, thì các số liệu phân số sẽ không hữu ích lắm.$L_k$$k<1$

Khái niệm khoảng cách Euclide, hoạt động tốt trong thế giới hai chiều và ba chiều được nghiên cứu bởi Euclid, có một số tính chất ở các chiều cao trái ngược với trực giác hình học (có thể chỉ của tôi ) của chúng tôi cũng là ngoại suy từ hai và ba kích thước.

Hãy xem xét một hình vuông với các đỉnh tại . Vẽ bốn vòng tròn bán kính đơn vị tập trung tại . Chúng "lấp đầy" hình vuông, với mỗi vòng tròn chạm vào các cạnh của hình vuông tại hai điểm và mỗi vòng tròn chạm vào hai hàng xóm của nó. Ví dụ: đường tròn có tâm ở chạm vào các cạnh của hình vuông tại và và các vòng tròn lân cận của nó tại và . Tiếp theo, vẽ một vòng tròn nhỏ ở giữa$4\times 4$$(\pm 2, \pm 2)$$(\pm 1, \pm 1)$$(1,1)$$(2,1)$$(1,2)$$(1,0)$$(0,1)$chạm vào tất cả bốn vòng tròn. Do đoạn đường có điểm cuối là trung tâm của hai vòng tròn thẩm thấu đi qua điểm thẩm thấu, nên có thể dễ dàng xác minh rằng vòng tròn nhỏ có bán kính và nó chạm vào bốn vòng tròn lớn hơn tại . Lưu ý rằng vòng tròn nhỏ được "bao quanh hoàn toàn" bởi bốn vòng tròn lớn hơn và do đó cũng hoàn toàn bên trong hình vuông. Cũng lưu ý rằng điểm nằm trên vòng tròn nhỏ. Cũng lưu ý rằng từ điểm gốc, người ta không thể "nhìn thấy" điểm trên cạnh của hình vuông vì đường ngắm đi qua điểm thẩm thấu của hai đường tròn ở giữa tại$r_2 = \sqrt{2}-1$$(\pm r_2/\sqrt{2}, \pm r_2/\sqrt{2})$$(r_2,0)$$(2,0,0)$$(1,0,0)$$(1,1)$ và . Ditto cho các đường ngắm đến các điểm khác trong đó các trục đi qua các cạnh của hình vuông.$(1,-1)$

Tiếp theo, hãy xem xét một khối lập phương với các đỉnh tại . Chúng tôi lấp đầy nó bằng quả cầu bán kính đơn vị tập trung tại , và sau đó đặt một quả cầu thẩm thấu nhỏ hơn tập trung tại điểm gốc. Lưu ý rằng hình cầu nhỏ có bán kính và điểm nằm trên bề mặt của hình cầu nhỏ. Nhưng cũng lưu ý rằng trong ba chiều, người ta có thể "nhìn thấy" điểm $4\times 4 \times 4$$(\pm 2, \pm 2, \pm 2)$$8$$(\pm 1, \pm 1, \pm 1)$$r_3 = \sqrt{3}-1 < 1$$(r_3,0,0)$$(2,0,0)$từ nguồn gốc; không có những quả cầu lớn hơn lớn hơn chặn tầm nhìn như xảy ra ở hai chiều. Những đường ngắm rõ ràng này từ điểm gốc đến các điểm mà trục đi qua bề mặt của khối lập phương cũng xảy ra ở tất cả các kích thước lớn hơn.

Tổng quát hóa, chúng ta có thể xem xét một hypercube -chiều hai bên của và lấp đầy nó bằng thấu các bán kính đơn vị tập trung tại và sau đó đặt "nhỏ hơn" hình cầu bán kính tại điểm gốc. Điểm nằm trên quả cầu "nhỏ hơn" này. Nhưng, lưu ý từ rằng khi , và do đó, hình cầu "nhỏ hơn" có bán kính đơn vị và do đó thực sự không xứng đáng với giá trị "nhỏ hơn" cho$n$$4$$2^n$$(\pm 1, \pm 1, \ldots, \pm 1)$(rn,0,0,...,0)(1)n=4rn=1n≥4n>9(1)rn>2(rn,0,0,...,0)

$$r_n = \sqrt{n}-1\tag{1}$$ $(r_n,0,0, \ldots, 0)$$(1)$$n = 4$$r_n = 1$$n\geq 4$. Thật vậy, sẽ tốt hơn nếu chúng ta gọi nó là "quả cầu lớn hơn" hay chỉ là "quả cầu trung tâm". Như đã lưu ý trong đoạn cuối, có một đường ngắm rõ ràng từ điểm gốc đến các điểm mà các trục đi qua bề mặt của hypercube. Tệ hơn nữa, khi , chúng tôi có từ mà , và do đó các điểm trên phạm vi trung tâm nằm ngoài hypercube của bên mặc dù nó là "bao quanh hoàn toàn" bởi các siêu thị bán kính đơn vị "lấp đầy" hypercube (theo nghĩa đóng gói nó).$n > 9$$(1)$$r_n >2$$(r_n, 0, 0, \ldots, 0)$$4$ Quả cầu trung tâm "phình ra" bên ngoài hypercube trong không gian nhiều chiều. Tôi thấy điều này rất phản trực giác bởi vì những bản dịch tinh thần của tôi về khái niệm khoảng cách Euclide đến các chiều cao hơn, sử dụng trực giác hình học mà tôi đã phát triển từ 2 không gian và 3 không gian mà tôi quen thuộc, không mô tả thực tế không gian chiều cao.

Câu trả lời của tôi cho câu hỏi của OP "Bên cạnh đó, 'kích thước cao' là gì?" là .$n \geq 9$

Đây là một vấn đề của tín hiệu nhiễu . Khoảng cách Euclide, do các điều khoản bình phương, đặc biệt nhạy cảm với tiếng ồn; nhưng ngay cả khoảng cách Manhattan và khoảng cách "phân số" (phi số liệu) cũng phải chịu.

Tôi thấy các nghiên cứu trong bài viết này rất khai sáng:

Zimek, A., Schubert, E. và Kriegel, H.-P. (2012),
Một cuộc khảo sát về phát hiện ngoại lệ không giám sát trong dữ liệu số chiều cao.
Phân tích dữ liệu thống kê khai thác, 5: 363 Từ387. doi: 10.1002 / sam.11161

Nó xem xét lại các quan sát được thực hiện trong ví dụ: Về hành vi đáng ngạc nhiên của các số liệu khoảng cách trong không gian chiều cao của Aggarwal, Hinneburg và Keim được đề cập bởi @Pat. Nhưng nó cũng cho thấy các thí nghiệm tổng hợp bị sai lệch như thế nào và trên thực tế dữ liệu chiều cao có thể trở nên dễ dàng hơn . Nếu bạn có nhiều tín hiệu (dự phòng) và kích thước mới sẽ thêm ít nhiễu.

$x,y \rightarrow x,y,x,y,x,y,x,y,...,x,y$

Vì vậy, cuối cùng, nó vẫn phụ thuộc vào dữ liệu của bạn. Nếu bạn có nhiều thuộc tính vô dụng, khoảng cách Euclide sẽ trở nên vô dụng. Nếu bạn có thể dễ dàng nhúng dữ liệu của mình vào không gian dữ liệu chiều thấp, thì khoảng cách Euclide cũng sẽ hoạt động trong không gian toàn chiều. Đặc biệt đối với dữ liệu thưa thớt , chẳng hạn như vectơ TF từ văn bản, điều này dường như là trường hợp dữ liệu có chiều thấp hơn nhiều so với mô hình không gian vectơ gợi ý.

Một số người tin rằng khoảng cách cosin tốt hơn Euclide trên dữ liệu chiều cao. Tôi không nghĩ vậy: khoảng cách cosin và khoảng cách Euclide có liên quan chặt chẽ với nhau; Vì vậy, chúng ta phải mong đợi họ phải chịu những vấn đề tương tự. Tuy nhiên, dữ liệu văn bản nơi cosine phổ biến thường thưa thớt và cosine nhanh hơn trên dữ liệu thưa thớt - vì vậy đối với dữ liệu thưa thớt, có những lý do chính đáng để sử dụng cosine; và bởi vì dữ liệu thưa thớt nên chiều kích nội tại ít hơn nhiều so với kích thước không gian vectơ.

Xem thêm câu trả lời này tôi đã đưa ra một câu hỏi trước đó: https://stats.stackexchange.com/a/29647/7828

Nơi tốt nhất để bắt đầu có lẽ là đọc Về hành vi đáng ngạc nhiên của các số liệu khoảng cách trong không gian chiều cao của Aggarwal, Hinneburg và Keim. Có một liên kết hiện đang hoạt động ở đây (pdf) , nhưng nó sẽ rất có khả năng google nếu nó bị hỏng. Nói tóm lại, khi số lượng kích thước tăng lên, khoảng cách euclide tương đối giữa một điểm trong một tập hợp và hàng xóm gần nhất của nó, và giữa điểm đó với hàng xóm xa nhất của nó, thay đổi theo một số cách không rõ ràng. Việc này có ảnh hưởng xấu đến kết quả của bạn hay không phụ thuộc rất nhiều vào những gì bạn đang cố gắng đạt được và dữ liệu của bạn như thế nào.

Khoảng cách Euclide rất hiếm khi là khoảng cách tốt để chọn trong Machine Learning và điều này trở nên rõ ràng hơn ở các chiều cao hơn. Điều này là do phần lớn thời gian trong Machine Learning bạn không phải đối phó với Không gian số liệu Euclide, mà là Không gian số liệu xác suất và do đó bạn nên sử dụng các hàm khoảng cách lý thuyết xác suất và thông tin, ví dụ như các hàm dựa trên entropy.

Con người thích không gian euclide vì nó dễ khái niệm hóa, hơn nữa nó dễ dàng về mặt toán học vì các tính chất tuyến tính có nghĩa là chúng ta có thể áp dụng đại số tuyến tính. Nếu chúng ta xác định khoảng cách theo các khía cạnh, giả sử Phân kỳ Kullback-Leibler, thì việc hình dung và làm việc với toán học sẽ khó hơn.

Tương tự như vậy, hãy tưởng tượng một vòng tròn tập trung ở gốc. Điểm được phân phối đều. Giả sử một điểm được chọn ngẫu nhiên là tại (x1, x2). Khoảng cách Euclide từ gốc tọa độ là ((x1) ^ 2 + (x2) ^ 2) ^ 0,5

Bây giờ, hãy tưởng tượng các điểm phân bố đều trên một quả cầu. Điểm giống nhau đó (x1, x2) bây giờ sẽ có thể là (x1, x2, x3). Vì trong phân phối chẵn, chỉ một vài điểm có một trong các tọa độ là 0, nên chúng ta sẽ giả sử rằng [x3! = 0] cho điểm phân phối đồng đều được chọn ngẫu nhiên của chúng tôi. Do đó, điểm ngẫu nhiên của chúng tôi rất có thể (x1, x2, x3) chứ không phải (x1, x2, 0).

Ảnh hưởng của điều này là: bất kỳ điểm ngẫu nhiên nào hiện ở khoảng cách ((x1) ^ 2 + (x2) ^ 2 + (x3) ^ 2) ^ 0,5 từ gốc của hình cầu 3 chiều. Khoảng cách này lớn hơn khoảng cách đối với một điểm ngẫu nhiên gần gốc của vòng tròn 2 chiều. Vấn đề này trở nên tồi tệ hơn ở các chiều cao hơn, đó là lý do tại sao chúng tôi chọn các số liệu khác với các kích thước Euclide để làm việc với các kích thước cao hơn.

EDIT: Có một câu nói mà tôi nhớ lại bây giờ: "Hầu hết các khối lượng của một cam chiều cao là trong da, không phải là bột", có nghĩa là trong không gian cao hơn đều điểm phân phối có nhiều "gần" (Euclide khoảng cách) ranh giới hơn nguồn gốc.

Lưu ý bên lề: Khoảng cách Euclide không quá tệ đối với các vấn đề trong thế giới thực do 'phước lành của sự không đồng nhất', về cơ bản nói rằng đối với dữ liệu thực, dữ liệu của bạn có thể KHÔNG được phân phối đều trong không gian chiều cao hơn, nhưng sẽ chiếm một tập hợp con nhỏ của không gian. Điều này có ý nghĩa bằng trực giác: nếu bạn đo 100 đại lượng về con người như chiều cao, cân nặng, v.v., phân phối đồng đều trên không gian kích thước sẽ không có ý nghĩa, ví dụ: một người có (chiều cao = 65 inch, cân nặng = 150 lbs, avg_calorie_intake = 4000) không thể có trong thế giới thực.

Một khía cạnh khác của câu hỏi này là:

Rất thường các chiều cao trong các vấn đề (học máy / thống kê) là kết quả của các tính năng bị hạn chế quá mức.

Có nghĩa là kích thước KHÔNG độc lập (hoặc không tương quan), nhưng số liệu Euclide giả định (ít nhất) không tương quan và do đó có thể không mang lại kết quả tốt nhất

Vì vậy, để trả lời câu hỏi của bạn, số lượng "kích thước cao" có liên quan đến số lượng tính năng không liên quan hoặc dư thừa hoặc quá hạn chế

Ngoài ra: Một định lý của Csiszar (et al.) Rằng các số liệu Euclide là ứng cử viên "tự nhiên" để suy luận khi các tính năng có dạng nhất định

Bài viết này cũng có thể giúp bạn "Đo lường độ tương tự sqrt-cosine được cải thiện" hãy truy cập https://journalofbigdata.springeropen.com/articles/10.1186/s40537-017-0083-6 Bài viết này giải thích tại sao khoảng cách Euclide không phải là một thước đo tốt ở chiều cao dữ liệu và sự thay thế tốt nhất cho khoảng cách Euclide trong dữ liệu chiều cao. Khoảng cách Euclide là định mức L2 và bằng cách giảm giá trị của k trong định mức Lk, chúng ta có thể làm giảm bớt vấn đề khoảng cách trong dữ liệu chiều cao. Bạn có thể tìm thấy các tài liệu tham khảo trong bài viết này là tốt.