Giải thích Lời nguyền của chiều hướng trẻ em

Tôi đã nghe nhiều lần về lời nguyền của chiều, nhưng bằng cách nào đó tôi vẫn không thể nắm bắt được ý tưởng, tất cả đều mờ mịt.

Bất cứ ai cũng có thể giải thích điều này theo cách trực quan nhất, như bạn sẽ giải thích nó cho một đứa trẻ, để tôi (và những người khác bối rối như tôi) có thể hiểu điều này tốt?

BIÊN TẬP:

Bây giờ, hãy nói rằng đứa trẻ bằng cách nào đó đã nghe về việc phân cụm (ví dụ: chúng biết cách phân cụm đồ chơi của chúng :)). Làm thế nào để tăng kích thước làm cho công việc phân cụm đồ chơi của họ khó khăn hơn?

Ví dụ, trước đây họ chỉ xem xét hình dạng của đồ chơi và màu sắc của đồ chơi (đồ chơi một màu), nhưng bây giờ cũng cần xem xét kích thước và trọng lượng của đồ chơi. Tại sao trẻ khó tìm đồ chơi tương tự hơn?

CHỈNH SỬA 2

Để thảo luận, tôi cần làm rõ điều đó bằng cách - "Tại sao trẻ khó tìm đồ chơi tương tự hơn" - Tôi cũng có nghĩa là tại sao khái niệm khoảng cách bị mất trong không gian chiều cao?

Có lẽ đứa trẻ sẽ thích ăn bánh quy, vì vậy chúng ta hãy giả sử rằng bạn có cả một chiếc xe tải với bánh quy có màu khác, hình dạng khác, mùi vị khác, giá khác ...

Nếu đứa trẻ phải lựa chọn nhưng chỉ tính đến một đặc điểm, ví dụ như hương vị, thì nó có bốn khả năng: ngọt, muối, chua, đắng, vì vậy đứa trẻ chỉ phải thử bốn cái bánh quy để tìm ra thứ gì mình thích nhất.

Nếu đứa trẻ thích sự kết hợp của hương vị và màu sắc, và có 4 màu (tôi khá lạc quan ở đây :-)) màu sắc khác nhau, thì nó đã phải chọn trong số các loại khác nhau của 4 x 4;

Ngoài ra, nếu anh ta muốn tính đến hình dạng của cookie và có 5 hình dạng khác nhau thì anh ta sẽ phải thử 4 x 4 = 80 cookie

Chúng ta có thể tiếp tục, nhưng sau khi ăn tất cả những chiếc bánh quy này, anh ta có thể đã bị đau bụng ... trước khi anh ta có thể đưa ra lựa chọn tốt nhất của mình :-) Ngoài đau bụng, có thể rất khó để nhớ sự khác biệt về mùi vị của mỗi cookie.

Như bạn có thể thấy (@Almo) hầu hết (tất cả?) Mọi thứ trở nên phức tạp hơn khi số lượng kích thước tăng lên, điều này giữ cho người lớn, cho máy tính và cho cả trẻ em.

Sự tương tự tôi muốn sử dụng cho lời nguyền về chiều không gian hơn một chút về mặt hình học, nhưng tôi hy vọng nó vẫn đủ hữu ích cho con bạn.

Thật dễ dàng để săn một con chó và có thể bắt nó nếu nó đang chạy xung quanh trên đồng bằng (hai chiều). Việc săn chim khó hơn nhiều, giờ chúng có thêm một chiều mà chúng có thể di chuyển. Nếu chúng ta giả vờ rằng ma là sinh vật có chiều cao hơn (gần giống với Sphere tương tác với A. Square ở Flatland ), chúng thậm chí còn khó bắt hơn. :)

Ok, vậy hãy phân tích ví dụ về việc trẻ phân cụm đồ chơi của nó.
Hãy tưởng tượng đứa trẻ chỉ có 3 món đồ chơi:

1. một quả bóng đá màu xanh
   
2. một màu xanh
3. một khối lập phương màu xanh lá cây (ok có lẽ nó không phải là đồ chơi thú vị nhất bạn có thể tưởng tượng)

Chúng ta hãy làm giả thuyết ban đầu sau đây về cách làm một món đồ chơi:

1. Các màu có thể là: đỏ, xanh lá cây, xanh dương
2. Hình dạng có thể là: hình tròn, hình vuông, hình tam giác

Bây giờ chúng ta có thể có (num_colors * num_shapes) = 3 * 3 = 9 cụm có thể.

Cậu bé sẽ co cụm đồ chơi như sau:

• CLUSTER A) chứa quả bóng màu xanh và màu xanh tự do, vì thay vào đó có cùng màu sắc và hình dạng
• CLUSTER B) chứa khối màu xanh lá cây siêu hài hước

Chỉ sử dụng 2 kích thước (màu sắc, hình dạng) này, chúng tôi có 2 cụm không trống: vì vậy trong trường hợp đầu tiên này, 7/9 ~ 77% không gian của chúng tôi trống.

Bây giờ hãy tăng số lượng kích thước mà đứa trẻ phải xem xét. Chúng tôi cũng đưa ra giả thuyết sau đây về cách làm một món đồ chơi:

3. Kích thước của đồ chơi có thể thay đổi từ vài cm đến 1 mét, trong bước mười centimet: 0-10cm, 11-20cm, ..., 91cm-1m
4. Trọng lượng của đồ chơi có thể thay đổi theo cách tương tự lên tới 1 kg, với các bước 100 gram: 0-100g, 101-200g, ..., 901g-1kg.

Nếu chúng ta muốn phân cụm đồ chơi NGAY BÂY GIỜ, chúng ta có (num_colors * num_shapes * num_sizes * num_weights) = 3 * 3 * 10 * 10 = 900 cụm có thể.

Cậu bé sẽ co cụm đồ chơi như sau:

• CLUSTER A) chứa quả bóng đá màu xanh vì màu xanh và nặng
• CLUSTER B) chứa freesbe màu xanh vì màu xanh và ánh sáng
• CLUSTER C) chứa khối màu xanh lá cây siêu hài hước

Sử dụng 4 kích thước hiện tại (hình dạng, màu sắc, kích thước, chiều rộng) chỉ có 3 cụm là không trống: vì vậy trong trường hợp này 897/900 ~ 99,7% không gian trống.

Đây là một ví dụ về những gì bạn tìm thấy trên Wikipedia ( https://en.wikipedia.org/wiki/Curse_of_dimensionality ):
... khi kích thước tăng, âm lượng của không gian tăng nhanh đến mức dữ liệu có sẵn trở nên thưa thớt.

Chỉnh sửa: Tôi không chắc là tôi thực sự có thể giải thích cho trẻ tại sao khoảng cách đôi khi bị sai trong không gian nhiều chiều, nhưng chúng ta hãy thử tiếp tục với ví dụ về đứa trẻ và đồ chơi của chúng.

Chỉ xem xét 2 tính năng đầu tiên {màu sắc, hình dạng} mọi người đồng ý rằng quả bóng màu xanh giống với quả bóng màu xanh hơn là khối màu xanh lá cây.

Bây giờ, hãy thêm 98 tính năng khác {giả sử: kích thước, trọng lượng, day_of_production_of_the_toy, vật liệu, độ mềm, day_in_which_the_toy_was_b think_by_daddy, giá vv}: đối với tôi sẽ ngày càng khó đánh giá đồ chơi nào tương tự.

Vì thế:

1. Một số lượng lớn các tính năng có thể không liên quan trong một so sánh nhất định về sự tương tự, dẫn đến sự hỏng của tỷ lệ tín hiệu trên tạp âm.
2. Trong kích thước cao, tất cả các ví dụ "trông giống nhau".
   
   

Nếu bạn lắng nghe tôi, một bài giảng hay là "Một vài điều hữu ích cần biết về học máy" ( http://homes.cs.washington.edu/~pedrod/ con / cacm12.pdf ), đoạn 6 nói riêng loại lý luận.

Hi vọng điêu nay co ich!

Tôi đã đi qua liên kết sau đây cung cấp một lời giải thích rất trực quan (và chi tiết) về lời nguyền về chiều: http://www.visiondummy.com/2014/04/curse-dimensionality-affect- classifying /

Trong bài viết này, chúng tôi sẽ thảo luận về cái gọi là 'Lời nguyền của chiều' và giải thích tại sao nó lại quan trọng khi thiết kế một bộ phân loại. Trong các phần sau tôi sẽ cung cấp một lời giải thích trực quan về khái niệm này, được minh họa bằng một ví dụ rõ ràng về việc quá mức do lời nguyền của chiều.

Trong một vài từ, bài viết này xuất phát (bằng trực giác) rằng việc thêm nhiều tính năng (nghĩa là tăng tính chiều của không gian tính năng của chúng tôi) đòi hỏi phải thu thập nhiều dữ liệu hơn. Trong thực tế, lượng dữ liệu chúng ta cần thu thập (để tránh bị quá mức) tăng theo cấp số nhân khi chúng ta thêm nhiều kích thước.

Nó cũng có hình minh họa đẹp như sau:

Lời nguyền của chiều là hơi mờ trong định nghĩa vì nó mô tả những điều khác nhau nhưng có liên quan trong các ngành khác nhau. Dưới đây minh họa lời nguyền của máy học về chiều:

Giả sử một cô gái có mười món đồ chơi, trong đó cô ấy chỉ thích những thứ in nghiêng:

• một con gấu bông màu nâu
• một chiếc xe màu xanh
• một chuyến tàu màu đỏ
• một máy xúc màu vàng
• một cuốn sách xanh
• một con hải mã sang trọng màu xám
• một toa xe màu đen
• một quả bóng màu hồng
• một cuốn sách trắng
• một con búp bê màu cam

Bây giờ, cha cô muốn tặng cô một món đồ chơi mới làm quà sinh nhật và muốn đảm bảo rằng cô thích nó. Anh ấy suy nghĩ rất kỹ về những gì đồ chơi cô ấy thích có chung và cuối cùng đi đến một giải pháp. Ông đưa cho con gái mình một trò chơi ghép hình đủ màu. Khi cô ấy không thích, anh trả lời: Tại sao bạn không thích nó? Nó không chứa chữ w. Giáo dục

Người cha đã trở thành nạn nhân của lời nguyền về chiều (và tối ưu hóa trong mẫu). Bằng cách xem xét các chữ cái, anh ta đã di chuyển trong một không gian 26 chiều và do đó rất có khả năng anh ta sẽ tìm thấy một số tiêu chí phân tách các đồ chơi mà con gái thích. Đây không cần phải là một tiêu chí một chữ cái như trong ví dụ, nhưng cũng có thể là một cái gì đó như

chứa ít nhất một trong số a, n và p nhưng không có u, f và s.

Để biết chính xác liệu các chữ cái có phải là một tiêu chí tốt để xác định đồ chơi nào con gái mình thích hay không, người cha sẽ phải biết sở thích của con gái mình với số lượng đồ chơi khổng lồ - hoặc chỉ sử dụng bộ não của mình và chỉ xem xét các thông số thực sự có thể hiểu được để ảnh hưởng đến con gái ý kiến.

$2^{26}$

• Hãy nghĩ về một vòng tròn bao quanh trong đơn vị vuông.
• Hãy nghĩ về một quả cầu được bao trong khối đơn vị.
• Hãy nghĩ về một siêu cầu n chiều được đặt trong khối siêu đơn vị n chiều.

$1^n$

$\infty$

$\pi/4$$\pi/6$$\infty$

Tôi: "Tôi đang nghĩ về một con vật nhỏ màu nâu bắt đầu bằng 'S'. Nó là gì vậy?"

Cô: "Con sóc!"

Tôi: "OK, một con khó hơn. Tôi đang nghĩ về một con vật nhỏ màu nâu. Nó là gì vậy?"

Cô: "Vẫn là một con sóc?"

Tôi không"

Cô: "Chuột, chuột, chuột đồng?

Tôi: "Không"

Cô: "Ừm ... cho tôi một manh mối"

Tôi: "Không, nhưng tôi sẽ làm điều gì đó tốt hơn: Tôi sẽ để bạn trả lời câu hỏi CrossValidated"

Cô: [rên rỉ]

Tôi: "Câu hỏi là: Lời nguyền của chiều là gì? Và bạn đã biết câu trả lời"

Cô: "Tôi làm gì?"

Tôi: "Bạn làm. Tại sao việc đoán con vật thứ nhất khó hơn con thứ hai?"

Cô: "Bởi vì có nhiều động vật nhỏ màu nâu hơn động vật nhỏ màu nâu bắt đầu bằng 'S'?"

Tôi: "Phải. Và đó là lời nguyền của chiều. Hãy chơi lại."

Cô: "OK"

Tôi: "Tôi đang nghĩ về một cái gì đó. Nó là gì?"

Cô: "Không công bằng. Trò chơi này rất khó."

Tôi: "Đúng. Đó là lý do tại sao họ gọi đó là một lời nguyền. Bạn không thể làm tốt mà không biết những điều tôi có xu hướng nghĩ về."

Giả sử bạn muốn gửi một số hàng hóa. Bạn muốn lãng phí ít không gian nhất có thể khi đóng gói hàng hóa (nghĩa là để càng ít không gian trống càng tốt), vì chi phí vận chuyển có liên quan đến khối lượng của phong bì / hộp. Các thùng chứa theo ý của bạn (phong bì, hộp) có góc vuông, vì vậy không có bao tải, v.v.

Vấn đề đầu tiên: gửi một cây bút (một "đường kẻ") - bạn có thể xây dựng một hộp xung quanh nó mà không mất khoảng trống.

Vấn đề thứ hai: gửi một đĩa CD (một "hình cầu"). Bạn cần đặt nó vào một phong bì vuông. Tùy thuộc vào độ tuổi của trẻ, cô có thể tính được bao nhiêu phong bì sẽ vẫn trống (và vẫn biết rằng có đĩa CD chứ không chỉ tải xuống ;-)).

Vấn đề thứ ba: vận chuyển một quả bóng đá (bóng đá, và nó phải được thổi phồng lên!). Bạn sẽ cần phải đặt nó vào một hộp, và một số không gian sẽ vẫn trống. Khoảng trống đó sẽ là một phần cao hơn của tổng âm lượng so với trong ví dụ CD.

Tại thời điểm đó, trực giác của tôi sử dụng sự tương tự này dừng lại, bởi vì tôi không thể tưởng tượng ra một chiều thứ 4.

EDIT: Sự tương tự là hữu ích nhất (nếu có) đối với ước lượng không theo tỷ lệ, sử dụng các quan sát "cục bộ" đến điểm quan tâm để ước tính, giả sử, mật độ hoặc hàm hồi quy tại điểm đó. Lời nguyền của chiều là ở các chiều cao hơn, người ta cần một vùng lân cận lớn hơn nhiều cho một số quan sát nhất định (điều này làm cho khái niệm về địa phương bị nghi ngờ) hoặc một lượng lớn dữ liệu.

6 yo của tôi là nhiều hơn trong câu thơ của nghiên cứu nguyên nhân chính, như trong "nhưng tất cả khí này trong vũ trụ đến từ đâu?" ... tốt, tôi sẽ tưởng tượng con bạn hiểu "chiều cao hơn", có vẻ như rất không chắc với tôi

$n$$[0,1]^n$$\left[ {1\over2}, {1\over2}\right]^n$

$\left({1\over 2}\right)^n$$2^n$

Bây giờ đi lấy phòng của bạn, cha đã đi làm.

$2^n$${1\over 2}$

Có một vấn đề cổ điển, sách giáo khoa, toán học cho thấy điều này.

Bạn có muốn kiếm được (tùy chọn 1) 100 xu mỗi ngày, mỗi ngày trong một tháng hoặc (tùy chọn 2) một xu tăng gấp đôi mỗi ngày trong một tháng? Bạn có thể hỏi con bạn câu hỏi này.

Nếu bạn chọn tùy chọn 1,
vào ngày 1 bạn nhận được 100 đồng xu vào ngày 2 bạn nhận được 100 đồng xu vào ngày 3 bạn nhận được 100 đồng xu ... vào ngày 30 bạn nhận được 100 đồng xu

$n^{th}$

tổng số đồng xu được tìm thấy bằng cách nhân số ngày với số đồng xu mỗi ngày:

Nếu bạn chọn tùy chọn 2:
vào ngày 1 bạn nhận được 1 xu vào ngày 2 bạn nhận được 2 xu vào ngày 3 bạn nhận được 4 xu vào ngày 4 bạn nhận được 8 xu vào ngày 5 bạn nhận được 16 xu ... vào ngày 30 bạn nhận được 1.073.741.824 đồng xu

$n^{th}$$2^n$

Bất cứ ai có lòng tham sẽ chọn số lớn hơn. Tham lam đơn giản là dễ tìm, và đòi hỏi ít suy nghĩ. Những con vật không biết nói dễ dàng có khả năng tham lam - côn trùng nổi tiếng là giỏi. Con người có khả năng nhiều hơn nữa.

Nếu bạn bắt đầu với một xu thay vì một trăm thì lòng tham sẽ dễ dàng hơn, nhưng nếu bạn thay đổi sức mạnh cho một đa thức thì nó phức tạp hơn. Phức tạp cũng có thể có nghĩa là có giá trị hơn nhiều.

Về "lời nguyền"
Hoạt động toán học liên quan đến vật lý "quan trọng nhất" là đảo ngược ma trận. Nó điều khiển các giải pháp của các hệ phương trình vi phân từng phần, phổ biến nhất là phương trình Maxwell (điện từ), phương trình Navier Stokes (chất lỏng), phương trình Poisson (truyền khuếch tán) và biến thể của Định luật Hookes (chất rắn biến dạng). Mỗi phương trình này có các khóa học đại học được xây dựng xung quanh chúng.

$n^3$

Lời nguyền tồn tại bởi vì nếu nó được khắc phục, có một bình chứa giá trị vàng ở cuối cầu vồng. Điều đó không dễ dàng - những bộ óc vĩ đại đã tham gia vào vấn đề một cách mạnh mẽ.

liên kết:

• https://en.wikipedia.org/wiki/Computational_complexity_of_mathologists_operations

Fcop cung cấp một sự tương tự tuyệt vời với cookie nhưng chỉ đề cập đến khía cạnh mật độ lấy mẫu của lời nguyền về chiều. Chúng ta có thể mở rộng sự tương tự này đến khối lượng lấy mẫu hoặc khoảng cách bằng cách phân phối cùng số lượng cookie của Fcop trong, ví dụ, mười hộp trong một dòng, hộp 10 x10 nằm trên bàn và 10 x10x10 trong một ngăn xếp. Sau đó, bạn có thể chỉ ra rằng để ăn cùng một phần bánh quy, trẻ sẽ phải mở thêm hộp.

Nó thực sự là về những kỳ vọng, nhưng hãy lấy một cách tiếp cận "trường hợp xấu nhất" để minh họa.

Nếu có 8 bánh quy và chúng tôi muốn ăn một nửa tức là 4, từ 10 hộp trong trường hợp xấu nhất, chúng tôi chỉ cần mở 6 hộp. Đó là 60% - chỉ khoảng một nửa. Từ 10h10 (một lần nữa trong trường hợp xấu nhất) - 96 (%). Và từ 10x10x10 - 996 (99,6%). Đó là hầu hết tất cả trong số họ!

Có thể là sự tương tự phòng lưu trữ và khoảng cách đi bộ giữa các phòng sẽ làm tốt hơn so với các hộp ở đây.