Làm thế nào để nhân một perceptron đơn giản?

Các vấn đề phân loại với các ranh giới phi tuyến có thể được giải quyết bằng một tri giác đơn giản . Mã R sau đây dành cho mục đích minh họa và dựa trên ví dụ này trong Python):

nonlin <- function(x, deriv = F) {
  if (deriv) x*(1-x)
  else 1/(1+exp(-x))
}

X <- matrix(c(-3,1,
              -2,1,
              -1,1,
               0,1,
               1,1,
               2,1,
               3,1), ncol=2, byrow=T)

y <- c(0,0,1,1,1,0,0)

syn0 <- runif(2,-1,1)

for (iter in 1:100000) {
  l1 <- nonlin(X %*% syn0)
  l1_error <- y - l1
  l1_delta <- l1_error * nonlin(l1,T)
  syn0 <- syn0 + t(X) %*% l1_delta
}

print("Output After Training:")
## [1] "Output After Training:"
round(l1,3)
##       [,1]
## [1,] 0.488
## [2,] 0.468
## [3,] 0.449
## [4,] 0.429
## [5,] 0.410
## [6,] 0.391
## [7,] 0.373

Bây giờ, ý tưởng về kernel và cái gọi là thủ thuật kernel là chiếu không gian đầu vào vào một không gian có chiều cao hơn, giống như vậy ( nguồn ảnh ):

Câu hỏi của tôi
Làm cách nào để sử dụng thủ thuật kernel (ví dụ với kernel bậc hai đơn giản) để tôi có được một perceptron kernel , có thể giải quyết vấn đề phân loại đã cho? Xin lưu ý: Đây chủ yếu là một câu hỏi về khái niệm nhưng nếu bạn cũng có thể đưa ra sửa đổi mã cần thiết thì điều này sẽ rất tuyệt

Những gì tôi đã thử cho đến nay
tôi đã thử những thứ sau đây hoạt động ổn nhưng tôi nghĩ rằng đây không phải là vấn đề thực sự vì nó trở nên quá đắt đối với các vấn đề phức tạp hơn ("mẹo" đằng sau "lừa nhân" không chỉ là ý tưởng của hạt nhân nhưng bạn không phải tính toán phép chiếu cho tất cả các trường hợp):

X <- matrix(c(-3,9,1,
              -2,4,1,
              -1,1,1,
               0,0,1,
               1,1,1,
               2,4,1,
               3,9,1), ncol=3, byrow=T)

y <- c(0,0,1,1,1,0,0)

syn0 <- runif(3,-1,1)

Tiết lộ đầy đủ
Tôi đã đăng câu hỏi này một tuần trước trên SO nhưng nó không được chú ý nhiều. Tôi nghi ngờ rằng đây là một nơi tốt hơn bởi vì nó là một câu hỏi về khái niệm hơn là một câu hỏi lập trình.

Chúng ta có thể xây dựng một "perceptron kernel" bằng cách lấy perceptron tiêu chuẩn và thay thế sản phẩm bên trong bằng dạng tương đương (do "kernel-trick") dạng K (X , X). Điều này hoạt động vì chúng ta có sản phẩm bên trong là bản đồ , có các thuộc tính giống hệt với hàm nhân . Như trong trường hợp hạt nhân hàm cơ sở xuyên tâm Gaussian (RBF) phổ biến : $X^\intercal X=\left<X,X\right>$$<\cdot,\cdot>:\mathbb{R}^p\times\mathbb{R}^p\to\mathbb{R}$$k:\mathbb{R}^p\times\mathbb{R}^p\to\mathbb{R}$

Như đã đề cập trong trang Wikipedia trên perceptron kernel , chúng tôi chọn một tập hợp con có kích thước của các đầu vào và sử dụng kết hợp tuyến tính của chúng để tạo đầu ra của chúng tôi, $M$

Nếu bạn đã thấy máy vectơ hỗ trợ ( SVM ), bạn sẽ nhận thấy máy kép giống hệt nhau. Để chọn tập hợp con có kích thước sẽ sử dụng, chúng tôi tối ưu hóa trên , đại diện cho việc mẫu có phải là vectơ hỗ trợ / cơ sở cho giải pháp của chúng tôi hay không. Trong việc tối ưu hóa chúng tôi bao gồm các trọng số của tối ưu hóa perceptron ban đầu.α i i α i ω $M$$\alpha_i$$i$$\alpha_i$$\omega_i$

Đối với câu hỏi của bạn về việc không phải tính toán phép chiếu, bạn đã đúng, ma trận dữ liệu đầu vào vẫn là 2 chiều. Trong tính toán của đầu ra, chúng tôi đã thay thế một sản phẩm dấu chấm bằng hàm kernel và đây là lúc tính toán 'ẩn' trong không gian tính năng xảy ra.$X$