Tôi có nên sử dụng Kernel Trick bất cứ khi nào có thể cho dữ liệu phi tuyến tính không?

Gần đây tôi đã biết về việc sử dụng thủ thuật Kernel, ánh xạ dữ liệu vào các không gian có chiều cao hơn trong nỗ lực tuyến tính hóa dữ liệu theo các chiều đó. Có trường hợp nào tôi nên tránh sử dụng kỹ thuật này? Có phải chỉ là vấn đề tìm đúng chức năng kernel?

Đối với dữ liệu tuyến tính, điều này tất nhiên là không hữu ích, nhưng đối với dữ liệu phi tuyến tính, điều này dường như luôn hữu ích. Sử dụng phân loại tuyến tính dễ dàng hơn nhiều so với phi tuyến tính về thời gian đào tạo và khả năng mở rộng.

Đối với dữ liệu tuyến tính, điều này tất nhiên là không hữu ích, nhưng đối với dữ liệu phi tuyến tính, điều này dường như luôn hữu ích. Sử dụng phân loại tuyến tính dễ dàng hơn nhiều so với phi tuyến tính về thời gian đào tạo và khả năng mở rộng.

@BartoszKP đã giải thích lý do tại sao kernel trick hữu ích. Để giải quyết đầy đủ câu hỏi của bạn tuy nhiên tôi muốn chỉ ra rằng, kernel đó không phải là lựa chọn duy nhất để xử lý dữ liệu không phân tách tuyến tính.

Có ít nhất ba lựa chọn thay thế tốt, phổ biến để phân định mô hình:

• Các phương thức dựa trên mạng trung tính, trong đó bạn thêm một (hoặc nhiều) đơn vị xử lý, có thể chuyển đổi dữ liệu của bạn thành trường hợp phân tách tuyến tính. Trong trường hợp đơn giản nhất, nó là một lớp dựa trên sigmoid, thêm phi tuyến tính vào quá trình. Sau khi được khởi tạo ngẫu nhiên, họ sẽ nhận được các bản cập nhật trong quá trình tối ưu hóa dựa trên độ dốc của lớp trên (thực tế giải quyết vấn đề tuyến tính).
• Đặc biệt - các kỹ thuật học sâu có thể được sử dụng ở đây để chuẩn bị dữ liệu để phân loại tuyến tính hơn nữa. Nó rất giống với ý tưởng trước đó, nhưng ở đây trước tiên bạn huấn luyện các lớp xử lý của mình để tìm một điểm khởi đầu tốt để tinh chỉnh hơn nữa dựa trên việc đào tạo một số mô hình tuyến tính.
• Các phép chiếu ngẫu nhiên - bạn có thể lấy mẫu các phép chiếu (phi tuyến tính) từ một số không gian được xác định trước và huấn luyện phân loại tuyến tính trên đầu chúng. Ý tưởng này được khai thác rất nhiều trong cái gọi là học máy cực đoan , trong đó các bộ giải tuyến tính rất hiệu quả được sử dụng để huấn luyện một bộ phân loại đơn giản trên các phép chiếu ngẫu nhiên và đạt được hiệu suất rất tốt (về các vấn đề phi tuyến tính trong cả phân loại và hồi quy, ví dụ như học cực đoan máy móc ).

Tóm lại - kernelization là một kỹ thuật phân định tuyệt vời và bạn có thể sử dụng nó, khi vấn đề không phải là tuyến tính, nhưng điều này không nên mù "nếu sau đó" thẩm định. Đây chỉ là một trong ít nhất một vài phương pháp thú vị, có thể dẫn đến kết quả khác nhau, tùy thuộc vào vấn đề và yêu cầu. Cụ thể, ELM có xu hướng tìm các giải pháp rất giống với các giải pháp được đưa ra bởi SVM đã được nhân hóa trong khi đồng thời có thể được đào tạo các hàng có cường độ nhanh hơn (vì vậy nó có quy mô tốt hơn nhiều so với các SVM được nhân)

Giá mà bạn phải trả cho Kernel Trick nói chung, đối với các phương thức tuyến tính, đang có giới hạn khái quát hóa tồi tệ hơn. Đối với mô hình tuyến tính, kích thước VC của nó cũng là tuyến tính theo số lượng kích thước (ví dụ: kích thước VC cho Perceptron là d + 1).

Bây giờ, nếu bạn sẽ thực hiện một phép biến đổi phi tuyến tính phức tạp thành không gian chiều cao, kích thước VC của bộ giả thuyết của bạn sẽ lớn hơn đáng kể, vì giờ đây nó tuyến tính về số lượng kích thước trong không gian chiều cao mới. Và với nó, sự khái quát hóa đi lên.

Support Vector Machines khai thác Kernel Trick theo cách hiệu quả nhất, bằng cách thực hiện hai điều:

• khái quát hóa ràng buộc cho các mô hình SVM lề cứng có liên quan đến số lượng vectơ hỗ trợ và đối với lề mềm có liên quan đến định mức của vectơ trọng số - vì vậy nó có thể không liên quan trong trường hợp thứ nhất và gần như không liên quan trong trường hợp thứ hai . Cho dù không gian mục tiêu hạt nhân "lớn" đến mức nào, bạn cũng không mất bất kỳ thứ gì / nhiều về mặt khái quát hóa (tham khảo: (i) C. Cortes và V. Vapnik. Hỗ trợ các mạng vectơ. Machine Learning, 20: 273 297, 1995 ; (ii) Shawe-Taylor, J.; Cristianini, N., "Về khái quát hóa các thuật toán lề mềm", Lý thuyết thông tin, Giao dịch của IEEE trên, vol.48, no.10, tr.2721,2735, Tháng 10 năm 2002 ).

• Các SVM tìm thấy mặt phẳng phân tách tối đa hóa lề và điều này càng đơn giản hóa bộ giả thuyết (chúng ta không xem xét mọi mặt phẳng phân tách có thể, chỉ là các mặt phẳng tối đa hóa lề). Đặt giả thuyết đơn giản cũng dẫn đến giới hạn khái quát hóa tốt hơn (điều này có liên quan đến điểm đầu tiên, nhưng nó trực quan hơn).

Tôi sẽ cố gắng cung cấp một câu trả lời phi kỹ thuật cho câu hỏi của bạn.

Thật vậy, tuyến tính nên được ưu tiên và nên là lựa chọn đầu tiên vì những lý do bạn đề cập, thời gian đào tạo, khả năng mở rộng, cộng với việc dễ dàng giải thích mô hình cuối cùng, lựa chọn làm việc trên nguyên tắc hoặc kép, khả năng chịu đựng quá mức, v.v.

Nếu mô hình tuyến tính không mang lại hiệu suất thỏa đáng, thì bạn có thể thử các giải pháp phi tuyến tính. Một số đánh đổi để xem xét bao gồm:

• sự lựa chọn của hạt nhân. Điều này không rõ ràng, thông thường bạn cần kiểm tra các tùy chọn khác nhau
• có nguy cơ quá mức tập huấn luyện. Trên thực tế nó là khá dễ dàng để overfit nếu bạn muốn. Để tránh bị quá mức, bạn cần có khung đánh giá mạnh hơn (bạn cần đo lường phương sai / độ ổn định của hiệu suất trên dữ liệu chưa xem) và bạn cần có đủ dữ liệu để có thể thực hiện lựa chọn mô hình phù hợp
• bạn làm việc trên kép và do đó bạn không thể diễn giải mô hình cuối cùng, nghĩa là bạn không thể cho rằng tính năng X quan trọng hơn tính năng Y, v.v.
• thời gian đào tạo được tăng lên với khối lượng dữ liệu (ít hơn với số lượng tính năng kể từ khi nó ở dạng kép)