Có phải tất cả các thuật toán học máy tách dữ liệu tuyến tính?

Tôi là một người đam mê lập trình và học máy. Chỉ vài tháng trước, tôi bắt đầu học về lập trình học máy. Giống như nhiều người không có nền tảng khoa học định lượng, tôi cũng bắt đầu tìm hiểu về ML bằng cách mày mò các thuật toán và bộ dữ liệu trong gói ML được sử dụng rộng rãi (caret R).

Một thời gian trước tôi đọc một blog trong đó tác giả nói về việc sử dụng hồi quy tuyến tính trong ML. Nếu tôi nhớ chính xác, anh ấy đã nói về việc cuối cùng tất cả các máy học sử dụng một loại "hồi quy tuyến tính" nào đó (không chắc anh ấy đã sử dụng thuật ngữ chính xác này) ngay cả đối với các vấn đề tuyến tính hoặc phi tuyến tính. Lúc đó tôi không hiểu ý anh là gì.

Hiểu biết của tôi về việc sử dụng máy học cho dữ liệu phi tuyến tính là sử dụng thuật toán phi tuyến tính để phân tách dữ liệu.

Đây là suy nghĩ của tôi

Giả sử để phân loại dữ liệu tuyến tính, chúng tôi đã sử dụng phương trình tuyến tính và đối với dữ liệu phi tuyến tính, chúng tôi sử dụng phương trình phi tuyến tính nóiy = s i n ( x $y=mx+c$$y=sin(x)$

Hình ảnh này được lấy từ trang web tìm hiểu sikit của máy vectơ hỗ trợ. Trong SVM, chúng tôi đã sử dụng các hạt nhân khác nhau cho mục đích ML. Vì vậy, suy nghĩ ban đầu của tôi là kernel tuyến tính tách dữ liệu bằng hàm tuyến tính và kernel RBF sử dụng hàm phi tuyến tính để tách dữ liệu.

Nhưng sau đó tôi thấy blog này nơi tác giả nói về mạng lưới thần kinh.

Để phân loại vấn đề phi tuyến tính trong subplot bên trái, mạng nơ ron biến đổi dữ liệu theo cách mà cuối cùng chúng ta có thể sử dụng phân tách tuyến tính đơn giản cho dữ liệu được chuyển đổi trong biểu đồ con bên phải

Câu hỏi của tôi là liệu cuối cùng tất cả các thuật toán học máy có sử dụng phân tách tuyến tính để phân loại (dữ liệu tuyến tính / phi tuyến tính) không?

Câu trả lời là số user20160 có một câu trả lời hoàn hảo, tôi sẽ thêm 3 ví dụ với trực quan hóa để minh họa ý tưởng. Lưu ý, các lô này có thể không hữu ích cho bạn để xem liệu "quyết định cuối cùng" có ở dạng tuyến tính hay không nhưng cho bạn cảm giác về cây, tăng cường và KNN.

Chúng tôi sẽ bắt đầu với cây quyết định. Với nhiều phân chia, nó là một ranh giới quyết định phi tuyến tính. Và chúng tôi không thể nghĩ rằng tất cả các phân chia trước đó là "biến đổi tính năng" và có một dòng quyết định cuối cùng ở cuối.

Một ví dụ khác là mô hình thúc đẩy, tổng hợp nhiều "phân loại yếu" và ranh giới quyết định cuối cùng không phải là tuyến tính. Bạn có thể nghĩ về nó là một mã / thuật toán phức tạp để đưa ra dự đoán cuối cùng.

Cuối cùng, hãy nghĩ về K Hàng xóm gần nhất (KNN). Nó cũng không phải là một hàm quyết định tuyến tính ở lớp cuối. Ngoài ra, không có "biến đổi tính năng" trong KNN.

Dưới đây là ba hình ảnh trực quan trong không gian 2D (Cây, Tăng tốc và KNN từ trên xuống dưới). Sự thật cơ bản là 2 hình xoắn ốc đại diện cho hai lớp và biểu đồ con bên trái là dự đoán từ mô hình và biểu đồ con bên phải là ranh giới quyết định từ mô hình.

EDIT: @ ssdecontrol 'câu trả lời trong bài viết này đưa ra một quan điểm khác.

Nó phụ thuộc vào cách chúng ta định nghĩa "chuyển đổi" .

Bất kỳ chức năng nào phân chia dữ liệu thành hai phần đều có thể được chuyển đổi thành mô hình tuyến tính của dạng này, với một đầu vào và một đầu vào (một chỉ báo cho biết "bên" của phân vùng mà điểm dữ liệu được bật). Điều quan trọng cần lưu ý về sự khác biệt giữa chức năng quyết định và ranh giới quyết định.

Một số thuật toán sử dụng một siêu phẳng (tức là hàm tuyến tính) để phân tách dữ liệu. Một ví dụ nổi bật là hồi quy logistic. Những người khác sử dụng một siêu phẳng để phân tách dữ liệu sau khi chuyển đổi phi tuyến (ví dụ: mạng nơ ron và máy vectơ hỗ trợ với hạt nhân phi tuyến). Trong trường hợp này, ranh giới quyết định là phi tuyến trong không gian dữ liệu gốc, nhưng tuyến tính trong không gian tính năng mà dữ liệu được ánh xạ. Trong trường hợp của SVM, công thức kernel xác định ánh xạ này hoàn toàn. Các thuật toán khác sử dụng nhiều siêu phân tách trong các vùng không gian dữ liệu cục bộ (ví dụ: cây quyết định). Trong trường hợp này, ranh giới quyết định là tuyến tính (nhưng tổng thể phi tuyến).

Tuy nhiên, các thuật toán khác có ranh giới quyết định phi tuyến và không được xây dựng dưới dạng siêu phẳng. Một ví dụ nổi bật là k phân loại hàng xóm gần nhất. Các bộ phân loại của bộ đồng phục (ví dụ: được sản xuất bằng cách tăng hoặc đóng gói các bộ phân loại khác) thường là phi tuyến.