Trực giác cho các máy Vector hỗ trợ và siêu phẳng

Trong dự án của tôi, tôi muốn tạo một mô hình hồi quy logistic để dự đoán phân loại nhị phân (1 hoặc 0).

Tôi có 15 biến, 2 trong số đó là phân loại, trong khi phần còn lại là hỗn hợp của các biến liên tục và rời rạc.

Để phù hợp với mô hình hồi quy logistic, tôi đã được khuyên nên kiểm tra khả năng phân tách tuyến tính bằng cách sử dụng SVM, perceptron hoặc lập trình tuyến tính. Quan hệ với lời đề nghị này đã ở đây liên quan đến thử nghiệm cho sự phân chia tuyến tính.

Là một người mới học máy, tôi hiểu các khái niệm cơ bản về các thuật toán được đề cập ở trên nhưng về mặt khái niệm, tôi đấu tranh để hình dung làm thế nào chúng ta có thể tách dữ liệu có nhiều chiều như vậy trong trường hợp của tôi.

Tất cả các ví dụ trong tài liệu trực tuyến thường hiển thị biểu đồ 2D gồm hai biến số (chiều cao, cân nặng) cho thấy khoảng cách rõ ràng giữa các danh mục và giúp dễ hiểu hơn nhưng trong dữ liệu trong thế giới thực thường có chiều cao hơn nhiều. Tôi liên tục bị cuốn vào tập dữ liệu Iris và cố gắng điều chỉnh một siêu phẳng qua ba loài và thật khó khăn nếu không thể làm như vậy giữa hai loài, hai lớp thoát khỏi tôi ngay bây giờ.

Làm thế nào để người ta đạt được điều này khi chúng ta có thứ tự kích thước cao hơn , có phải giả định rằng khi chúng ta vượt quá một số tính năng nhất định mà chúng ta sử dụng hạt nhân để ánh xạ tới không gian chiều cao hơn để đạt được sự phân tách này?

Ngoài ra để kiểm tra khả năng phân tách tuyến tính, số liệu được sử dụng là gì? Đây có phải là độ chính xác của mô hình SVM tức là độ chính xác dựa trên ma trận nhầm lẫn?

Bất kỳ trợ giúp để hiểu rõ hơn về chủ đề này sẽ được đánh giá rất cao. Ngoài ra dưới đây là một mẫu của một biểu đồ gồm hai biến trong tập dữ liệu của tôi cho thấy mức độ trùng lặp của hai biến này.

Tôi sẽ cố gắng giúp bạn hiểu được lý do tại sao việc thêm kích thước giúp trình phân loại tuyến tính thực hiện tốt hơn việc tách hai lớp.

Hãy tưởng tượng bạn có hai yếu tố dự đoán liên tục và X 2 và$X_1$$X_2$ và chúng tôi đang thực hiện phân loại nhị phân. Điều này có nghĩa là dữ liệu của chúng tôi trông giống như thế này:$n=3$

Bây giờ hãy tưởng tượng việc gán một số điểm cho lớp 1 và một số cho lớp 2. Lưu ý rằng cho dù chúng ta gán các lớp cho các điểm như thế nào, chúng ta luôn có thể vẽ một đường phân tách hoàn hảo hai lớp.

Nhưng bây giờ hãy nói rằng chúng ta thêm một điểm mới:

$p=2$

$X_3$

$p=3$$n=4$

$p$$p+1$

$n$$p$

$\mathscr F$$n$$\mathscr F$$n$$\mathscr F$$\mathscr F$$p$$\mathscr F$$n=p+1$$\mathscr F$$p$các biến sau đó nó có thể phá vỡ bất kỳ số điểm. Khái niệm về sự tan vỡ này, cho chúng ta biết về sự phức tạp của một tập hợp các phân loại có thể, xuất phát từ lý thuyết học thống kê và có thể được sử dụng để đưa ra tuyên bố về mức độ quá mức mà một bộ phân loại có thể làm. Nếu bạn quan tâm đến nó, tôi đánh giá cao Luxburg và Schölkopf "Lý thuyết học thống kê: Mô hình, khái niệm và kết quả" (2008).

Thật dễ dàng phạm sai lầm khi bạn lấy trực giác của mình về không gian chiều thấp và áp dụng nó vào không gian chiều cao. Trực giác của bạn là chính xác ngược trong trường hợp này. Nó trở nên dễ dàng hơn nhiều để tìm thấy một siêu phẳng tách biệt trong không gian chiều cao hơn so với trong không gian thấp hơn.

Mặc dù khi nhìn vào bất kỳ hai cặp biến số nào, các phân phối màu đỏ và màu xanh trùng nhau, khi nhìn vào tất cả 15 biến số cùng một lúc, rất có thể chúng không trùng nhau.

Bạn có 15 biến, nhưng không phải tất cả chúng đều có ý nghĩa như nhau đối với sự phân biệt biến phụ thuộc của bạn (một số trong số chúng thậm chí có thể gần như không liên quan).

Phân tích thành phần chính (PCA) tính toán lại cơ sở tuyến tính của 15 biến đó và ra lệnh cho chúng, theo cách mà một vài thành phần đầu tiên thường giải thích hầu hết phương sai. Vì vậy, điều này cho phép bạn giảm một vấn đề 15 chiều thành (nói) một vấn đề 2,3,4 hoặc 5 chiều. Do đó nó làm cho âm mưu trực quan hơn; thông thường, bạn có thể sử dụng hai hoặc ba trục cho các biến số (hoặc thứ tự cardinality cao), sau đó sử dụng màu sắc, hình dạng và kích thước cho ba chiều bổ sung (có thể nhiều hơn nếu bạn có thể kết hợp các quy tắc cardinality thấp). Vì vậy, âm mưu với 6 PC quan trọng nhất sẽ cho bạn hình dung rõ hơn về bề mặt quyết định của bạn.