Thủ thuật hạt nhân hóa, cho các mạng thần kinh

Tôi đã học về mạng nơ-ron và SVM. Các hướng dẫn tôi đã đọc đã nhấn mạnh tầm quan trọng của hạt nhân đối với các SVM. Không có chức năng kernel, các SVM chỉ là một bộ phân loại tuyến tính. Với nhân hóa, các SVM cũng có thể kết hợp các tính năng phi tuyến tính, khiến chúng trở thành một bộ phân loại mạnh hơn.

Đối với tôi, có vẻ như người ta cũng có thể áp dụng nhân hóa vào các mạng thần kinh, nhưng không có hướng dẫn nào về các mạng thần kinh mà tôi thấy đã đề cập đến điều này. Có phải mọi người thường sử dụng thủ thuật kernel với các mạng thần kinh? Tôi đoán ai đó phải thử nghiệm với nó để xem nó có tạo ra sự khác biệt lớn không. Liệu nhân hóa có giúp các mạng thần kinh nhiều như nó giúp các SVM không? Tại sao hay tại sao không?

(Tôi có thể tưởng tượng một số cách để kết hợp thủ thuật kernel vào các mạng thần kinh. Một cách là sử dụng hàm kernel phù hợp để xử lý trước đầu vào, một vectơ trong , thành một đầu vào chiều cao hơn, một vectơ trong cho . Đối với mạng lưới thần kinh nhiều lớp, một cách khác sẽ là áp dụng một hàm nhân ở mỗi cấp độ của mạng thần kinh.)$\mathbb{R}^n$$\mathbb{R}^{m}$$m\ge n$

Tôi nghĩ rằng bạn có thể nhầm lẫn thuật ngữ theo cách làm cho vấn đề trở nên khó hiểu. Các SVM hoạt động bằng cách xác định ranh giới quyết định tuyến tính, nghĩa là siêu phẳng. Chúng ta có thể định nghĩa siêu phẳng này theo các sản phẩm bên trong giữa các điểm. Do đó, nếu chúng ta xác định sản phẩm bên trong này ở trong một không gian chiều cao hoặc thậm chí vô hạn, thì thứ trông giống như một siêu phẳng trong không gian mới này là một tuyến tính không cần thiết trong không gian tính năng ban đầu. Vì vậy, mọi thứ vẫn là tuyến tính, điều duy nhất chúng tôi đã làm là ngầm (thông qua sản phẩm bên trong mới) nhúng các điểm trong một số không gian chiều cao hơn. Có lẽ bạn đã biết tất cả điều này.

Có 2 vấn đề cần xem xét đối với mạng lưới thần kinh. Đầu tiên được đưa lên bởi @Yuval Filmus, vì các mạng thần kinh lớp ẩn phụ thuộc vào nhiều thứ hơn là chỉ các sản phẩm bên trong giữa các điểm. Nếu bạn loại bỏ lớp ẩn, bạn chỉ có một cái gì đó như hồi quy logistic, trong đó có các phiên bản kernel . Có lẽ có một cách để khắc phục điều này, nhưng tôi không thấy điều đó.

Thứ hai, bạn đề cập đến tiền xử lý đầu vào bằng cách chiếu vào một không gian chiều cao hơn, nhưng không vô hạn. Mạng lưới thần kinh xác định một bề mặt quyết định và bề mặt này không bị hạn chế là tuyến tính. Điều này có nghĩa là lợi ích từ việc chiếu các điểm vào không gian chiều cao hơn sẽ khác nhau, nghĩa là, nó có thể giúp dễ dàng tìm thấy một tập hợp trọng lượng tốt, nhưng chúng tôi không nhất thiết phải làm cho mô hình của chúng tôi mạnh hơn nữa. Điều này tuân theo định lý xấp xỉ phổ quát cho chúng ta biết với một số lượng đơn vị ẩn đủ lớn, chúng ta có thể tính gần đúng bất kỳ hàm nào (theo một số hạn chế). Tuyên bố cuối cùng này khá trống rỗng và tôi ghét phải đề cập đến nó. Bằng cách không cho bạn biết bất cứ điều gì về cách tìm đúng trọng lượng, nó sẽ không mang lại nhiều điều cho bảng từ góc độ ứng dụng.

Thủ thuật kernel có thể có đối với các SVM vì thuộc tính đặc biệt của quá trình học đối với các SVM. Mạng lưới thần kinh dường như không có tài sản đó (theo như tôi có thể nói).

$x_1,\dots,x_n \in \mathbb{R}^d$$x_i$$x_i$$x_i \cdot x_j$

$K$$K(x_i,x_j)$$\phi : \mathbb{R}^d \to \mathbb{R}^m$$m > d$$K(x_i,x_j) = \phi(x_i) \cdot \phi(x_j)$$\phi$$K(x_i,x_j)$$\phi(x_i),\phi(x_j)$$K(x_i,x_j)$$O(d)$$O(m)$ thời gian.

$x_i \cdot x_j$$K(x_i,x_j)$$x_i$

Tôi muốn chia sẻ một số quan sát tôi đã thực hiện. Kích thước đầu vào: 144. Tôi đã đào tạo một mạng nơ ron và trong quá trình đào tạo, đầu ra của các lớp ẩn được đưa ra làm đầu vào cho hồi quy logistic và giá trị trung bình của hàm mất mát sau khi lắp mô hình được vẽ.

Chúng ta có thể thấy rằng với sự gia tăng kích thước lớp, các tính năng hoặc đầu ra của các lớp ẩn đang trở nên tách rời tuyến tính. Trong khi đây là mục đích của việc học vectơ đặc trưng hạt nhân , mạng lưới thần kinh dường như đang thực hiện điều này trong nội bộ.