Lời nguyền của chiều là gì?

21

Cụ thể, tôi đang tìm tài liệu tham khảo (giấy tờ, sách) sẽ trình bày và giải thích chặt chẽ lời nguyền của chiều. Câu hỏi này xuất hiện sau khi tôi bắt đầu đọc tờ giấy trắng này của Lafferty và Wasserman. Trong đoạn thứ ba, họ đề cập đến một phương trình "nổi tiếng" ngụ ý rằng tốc độ hội tụ tốt nhất là ; nếu bất cứ ai có thể giải thích về điều đó (và giải thích nó), điều đó sẽ rất hữu ích. $n^{-4/(4-d)}$

Ngoài ra, bất cứ ai cũng có thể chỉ cho tôi một tài liệu tham khảo dẫn đến phương trình "nổi tiếng"?

theory

— khoda
nguồn

7

Tôi không thể giải thích, nhưng tôi tin rằng tôi đã nghe thấy âm thanh giống như ba phiên bản khác nhau của lời nguyền: 1) kích thước cao hơn có nghĩa là số lượng công việc tăng theo cấp số nhân và 2) ở các chiều cao hơn, bạn sẽ nhận được ít hơn và ít ví dụ hơn trong bất kỳ phần nào của không gian mẫu của bạn và 3) ở kích thước cao, mọi thứ có xu hướng cơ bản là xa nhau khiến bạn khó có thể tạo ra bất kỳ sự phân biệt nào.

— Wayne

5

Bạn có thể giải thích điều này về mặt hình học. Giả sử bạn có một hình cầu có kích thước D với bán kính r = 1. Sau đó, bạn có thể đặt câu hỏi về phần nào của thể tích hình cầu nằm giữa bán kính r = 1 và r = 1-e. Vì chúng ta biết rằng thể tích của một hình cầu có tỷ lệ như k (d) * r ^ (d), trong đó d là số lượng kích thước, chúng ta có thể suy ra rằng phân số được cho bởi 1- (1-e) ^ d. Do đó, đối với các quả cầu có chiều cao, phần lớn thể tích tập trung ở một lớp vỏ mỏng gần bề mặt. Xem thêm về điều này trong cuốn sách của Bishops "Nhận thức mẫu và học máy".

— Bác sĩ Mike

@Wayne Chắc chắn; cộng với 5) nhiều độ mờ thường có nghĩa là nhiều tiếng ồn hơn.

Tiến sĩ Mike, tôi không theo logic. Nghe có vẻ như bạn đang nói rằng "vì phần lớn âm lượng tập trung trong một lớp vỏ mỏng gần bề mặt của hình cầu chiều cao, nên bạn bị nguyền rủa với chiều." Bạn có thể giải thích thêm, và có lẽ chỉ cho tôi một cách rõ ràng mối quan hệ tương tự trong thống kê?

— khoda

9

Theo dõi về richiemorrisroe, đây là hình ảnh liên quan từ các yếu tố của học thống kê , chương 2 (tr22-27):

Trang 25

Như bạn có thể thấy ở khung phía trên bên phải, có nhiều hàng xóm cách nhau 1 đơn vị hơn 1 chiều so với hàng xóm cách nhau 1 đơn vị ở 2 chiều. 3 chiều sẽ còn tồi tệ hơn!

— Zach
nguồn

7

Điều này không trả lời trực tiếp câu hỏi của bạn, nhưng David Donoho có một bài viết hay về Phân tích dữ liệu chiều cao: Những lời nguyền và phước lành về chiều (các slide liên quan ở đây ), trong đó ông đề cập đến ba lời nguyền:

$D$ $(1/\epsilon)^D$ $\epsilon$
$d$ $(1/\epsilon)^D$ $\epsilon$
$D$ $(1/\epsilon)^D$ $\epsilon$

— raegtin
nguồn

6

Tôi biết rằng tôi tiếp tục đề cập đến nó, nhưng có một lời giải thích tuyệt vời về điều này là Các yếu tố của học thống kê , chương 2 (tr22-27). Về cơ bản, họ lưu ý rằng khi kích thước tăng, lượng dữ liệu cần tăng (theo cấp số nhân) với nó hoặc sẽ không có đủ điểm trong không gian mẫu lớn hơn cho bất kỳ phân tích hữu ích nào được thực hiện.

Họ đề cập đến một bài báo của Bellman (1961) là nguồn của họ, dường như là cuốn sách Quy trình kiểm soát thích ứng của ông, có sẵn từ Amazon tại đây

— giàu có
nguồn

+1. Giải thích trong ESL là tuyệt vời, và các sơ đồ liên quan giúp ích rất nhiều.

— Zach

2

nhập mô tả hình ảnh ở đây

Có thể tác động nổi tiếng nhất được ghi nhận bởi giới hạn sau (được gián tiếp (minh họa) được minh họa trong hình trên):

lim_{d tôi m \to \infty} \frac{d tôi S t_{m một x} - d tôi S t_{m tôi n}}{d tôi S t_{m tôi n}}

$\lim_{dim\rightarrow\infty}\frac{dist_{max}-dist_{min}}{dist_{min}}$

$L_2$ $k$ $L_k$

Tác động của thứ nguyên đến dữ liệu trong ảnh

— Raffael
nguồn