Chúng ta có nên tính đến thuật ngữ chặn khi nhân thuật toán không?

Khi thuật toán học (ví dụ: phân loại, hồi quy, phân cụm hoặc giảm kích thước) chỉ sử dụng sản phẩm chấm giữa các điểm dữ liệu chúng tôi có thể sử dụng ánh xạ chiều cao hơn thông qua thủ thuật kernel, trao đổi tất cả các trường hợp mà các sản phẩm chấm xảy ra bởi hạt nhân \ mathbf K = \ phi (\ mathbf x) \ phi (\ mathbf x) ^ \ mathbf T .$\mathbf {x x^T}$$\phi(\mathbf x)$$\mathbf K = \phi(\mathbf x) \phi(\mathbf x) ^ \mathbf T$

Trong các mô hình tuyến tính, ví dụ, các SVM, người ta có thể tính đến việc chặn thêm một cột không đổi vào các điểm dữ liệu. Nếu chúng ta sử dụng kernel tuyến tính $\mathbf K = \mathbf {x x^T}$ thì sẽ rất có ý nghĩa với tôi để giữ cột không đổi đó: bạn có thể truy xuất các hệ số cột $\mathbf w$ từ hệ số sản phẩm kernel $\mathbf u$ thông qua $\mathbf{w=x^T u}$ và các giải pháp nên giống hệt nhau, sử dụng kernel hay không.

Nhưng nếu hạt nhân không phải là tuyến tính thì sao, nếu ánh xạ theo chiều vô hạn để các hệ số cột không thể biểu diễn với $\mathbf{w=\phi(\mathbf x)^T u}$ , thì nó vẫn có ý nghĩa bao gồm một hạn đánh chặn?

Câu trả lời một phần:

Tập trung vào các SVM trong một thời gian, tôi đã tham khảo tài liệu này (được chỉ ra bởi @DikranMarsupial trong thuật ngữ Bias trong máy vectơ hỗ trợ ):

Poggio, T., Mukherjee, S., Rifkin, R., & Rakhlin, A. (2001). Verri, A. b . Trong Kỷ yếu của Hội nghị về tính không chắc chắn trong tính toán hình học .

Trích đoạn:

Bài viết này được dành để trả lời các câu hỏi sau: Khi nào nên sử dụng b ? Có sự lựa chọn sử dụng hay không sử dụng b ? Sự lựa chọn có nghĩa là gì? Các câu trả lời có khác nhau đối với RN (Mạng thường xuyên) và SVM không? [...]

Trong kết luận của họ, họ đề cập đến việc sử dụng thuật ngữ thiên vị có liên quan đến việc không ưu tiên các giá trị nhất định cho các ngưỡng phân loại trong SVM. Cũng thế:

• Đối với các hạt xác định có điều kiện dương vô hạn, thuật ngữ b là thực tế cần thiết cho phép giải thích tự nhiên về trình tối ưu hóa.

• Đối với các hạt xác định dương, sự lựa chọn tự nhiên không có thuật ngữ b , tuy nhiên có thể sử dụng một, thực sự dẫn đến một cách hiểu hạt nhân khác với một cách không có nó.

Xem rằng bộ giảm thiểu được viết bao gồm một tham số rõ ràng b để được tối ưu hóa.