Dữ liệu không thể phân tách tuyến tính có thể được học bằng cách sử dụng các tính năng đa thức với hồi quy logistic không?

Tôi biết rằng Polynomial Logistic Regressioncó thể dễ dàng tìm hiểu một dữ liệu điển hình như hình ảnh sau: Tôi đã tự hỏi liệu hai dữ liệu sau đây cũng có thể được học bằng cách sử dụng hay không.

Polynomial Logistic Regression

Tôi đoán tôi phải thêm lời giải thích. Giả sử hình dạng đầu tiên. Nếu chúng ta thêm các tính năng đa thức bổ sung cho đầu vào 2 chiều này (như x1 ^ 2 ...), chúng ta có thể đưa ra một ranh giới quyết định có thể tách dữ liệu. Giả sử tôi chọn X1 ^ 2 + X2 ^ 2 = b. Điều này có thể tách dữ liệu. Nếu tôi thêm các tính năng bổ sung, tôi sẽ có được hình dạng lượn sóng (có thể là hình tròn lượn sóng hoặc hình elip lượn sóng) nhưng nó vẫn không thể tách dữ liệu của biểu đồ thứ hai, phải không?

Có trong lý thuyết , phần mở rộng đa thức cho hồi quy logistic có thể xấp xỉ bất kỳ ranh giới phân loại tùy ý. Đó là bởi vì một đa thức có thể xấp xỉ bất kỳ hàm nào (ít nhất là các loại hữu ích cho các vấn đề phân loại) và điều này được chứng minh bởi định lý Stone-Weierstrass .

Cho dù xấp xỉ này là thực tế cho tất cả các hình dạng ranh giới là một vấn đề khác. Bạn có thể tìm kiếm tốt hơn các hàm cơ bản khác (ví dụ chuỗi Fourier hoặc khoảng cách xuyên tâm từ các điểm ví dụ) hoặc các cách tiếp cận khác hoàn toàn (ví dụ SVM) khi bạn nghi ngờ hình dạng ranh giới phức tạp trong không gian đặc trưng. Vấn đề với việc sử dụng đa thức bậc cao là số lượng các tính năng đa thức bạn cần sử dụng tăng theo cấp số nhân với mức độ của đa thức và số lượng các tính năng ban đầu.

$5 - 10 xy$$-1$$1$$(x,y)$

Việc chuyển nó vào hàm logistic sẽ cung cấp cho bạn các giá trị đủ gần với 0 và 1.

Tương tự như hai khu vực hình tròn của bạn là một đường cong hình số tám đơn giản:

$a, b$$c$$y$$a, b$$c$$a=1,b=0.05,c=-1$$x=-3$$x=3$

$x^2 - y^2 - 0.05x^4 -1>0$$\frac{1}{1+e^{-z}} > 0.5$$z>0$

$1, x^2, y^2, x^4$$y$

Trong thực tế, bất kỳ vấn đề nào bạn có thể giải quyết với mạng nơ ron sâu - ở bất kỳ độ sâu nào - bạn có thể giải quyết với cấu trúc phẳng bằng hồi quy tuyến tính (đối với các vấn đề hồi quy) hoặc hồi quy logistic (đối với các vấn đề phân loại). Đó là "chỉ" một vấn đề tìm kiếm mở rộng tính năng phù hợp. Sự khác biệt là các mạng thần kinh sẽ cố gắng khám phá trực tiếp mở rộng tính năng hoạt động, trong khi tính năng kỹ thuật sử dụng đa thức hoặc bất kỳ sơ đồ nào khác là công việc khó khăn và không phải lúc nào cũng rõ ràng làm thế nào để bắt đầu: Ví dụ như bạn có thể tạo ra xấp xỉ đa thức cho hệ thần kinh tích chập nào Mạng làm gì cho hình ảnh? Có vẻ như không thể. Nó có khả năng là cực kỳ không thực tế, quá. Nhưng nó tồn tại.