Làm thế nào để hiểu được sự phi tuyến của người Hồi giáo như trong cách giảm kích thước phi tuyến của người Hồi giáo?

24

Tôi đang cố gắng tìm hiểu sự khác biệt giữa các phương pháp giảm kích thước tuyến tính (ví dụ: PCA) và các phương pháp phi tuyến (ví dụ, Isomap).

Tôi hoàn toàn không thể hiểu những gì tuyến tính (phi) ngụ ý trong bối cảnh này. Tôi đọc từ Wikipedia rằng

Khi so sánh, nếu PCA (thuật toán giảm kích thước tuyến tính) được sử dụng để giảm cùng tập dữ liệu này thành hai chiều, thì các giá trị kết quả không được tổ chức tốt như vậy. Điều này chứng tỏ rằng các vectơ có chiều cao (mỗi vectơ đại diện cho một chữ cái 'A') lấy mẫu đa tạp này thay đổi theo cách phi tuyến tính.

Làm gì

các vectơ chiều cao (mỗi vectơ đại diện cho một chữ cái 'A') lấy mẫu đa tạp này thay đổi theo cách phi tuyến tính.

nghĩa là? Hoặc rộng hơn, làm thế nào để tôi hiểu được tuyến tính (không) trong bối cảnh này?

— Đánh bạc Sibbs
nguồn

20

Giảm kích thước có nghĩa là bạn ánh xạ mỗi vectơ nhiều chiều thành một vectơ chiều thấp. Nói cách khác, bạn biểu diễn (thay thế) mỗi vectơ nhiều chiều bằng một vectơ chiều thấp.

Giảm kích thước tuyến tính có nghĩa là các thành phần của vectơ chiều thấp được cho bởi các hàm tuyến tính của các thành phần của vectơ chiều cao tương ứng. Ví dụ: trong trường hợp giảm xuống hai chiều, chúng tôi có:

[x1, x2, ..., xn] ->  [f1(x1, x2, ..., xn), f2(x1, x2, ..., xn)]

Nếu f1và f2là (không) hàm tuyến tính, chúng ta có giảm kích thước tuyến tính (không).

— Roman
nguồn

3

f (a \cdot x + b) = a \cdot f (x) + b

$f(a\cdot x + b) = a\cdot f(x) + b$

w_{1} x_{1} + \dots + w_{n} x_{n}

$w_1x_1 + \dots + w_nx_n$

1

f_{i} = f_{i} (x_{1}, \dots, x_{n}) = c^{(i)} + ω_{1}^{(i)} x_{1} + \dots ω_{n}^{(i)} x_{n}

$f_i = f_i (x_1, \dots, x_n) = c^{(i)} + \omega^{(i)}_1 x_1 + \dots \omega^{(i)}_n x_n$

f_{i}

$f_i$

x_{i}

$x_i$ lần lượt là các thành phần của vectơ thấp và cao (và tôi nghĩ nó không phải là ý bạn). Tôi nghĩ rằng vấn đề không nằm ở việc hiểu chức năng tuyến tính là gì mà là nơi tuyến tính xuất hiện.

— La Mã

49

Một bưc tranh đang gia ngan lơi noi:

PCA vs Isomap

Ở đây chúng tôi đang tìm kiếm cấu trúc 1 chiều trong 2D. Các điểm nằm dọc theo một đường cong hình chữ S. PCA cố gắng mô tả dữ liệu với đa tạp 1 chiều tuyến tính , đơn giản là một dòng; Tất nhiên một dòng phù hợp với những dữ liệu này khá xấu. Isomap đang tìm kiếm một phi tuyến (tức là cong!) Đa dạng 1 chiều, và sẽ có thể khám phá những đường cong hình chữ S nằm bên dưới.

— amip nói phục hồi Monica
nguồn