Mất bản lề với phân loại một vs tất cả

Tôi hiện đang xem xét hình thức nguyên thủy không giới hạn của trình phân loại một đấu tất cả

Ở đâu

$N_I$ là số lượng phiên bản, là số lượng các lớp, là số lượng tính năng, là ma trận dữ liệu , là một vectơ của nhãn lớp, là ma trận trong đó mỗi ma trận tương ứng đến các trọng số cho siêu phẳng tách một lớp từ phần còn lại, là một số hàm mất tùy ý.
$N_K$
$N_F$
$X$$N_K \times N_F$
$y$
$W$$N_K \times N_I$
$L$

Tôi hiểu rằng chức năng ở trên cố gắng tìm một siêu phẳng cho mỗi lớp nhằm tối đa hóa khoảng cách giữa các mẫu trong lớp liên kết với tất cả các mẫu khác. Nếu các siêu phẳng được định vị chính xác thì phải luôn âm, sẽ luôn hoạt động trở lại Khá thấp.$\mathbf{w_k}\cdot\mathbf{x_i}$$\mathbf{w_{y_i}}\cdot\mathbf{x_i}$

Tôi đang cố gắng thực hiện điều này bằng cách sử dụng mất bản lề mà tôi tin rằng trong trường hợp này sẽ kết thúc

$\max(0,1+\mathbf{w_k}\cdot\mathbf{x_i}-\mathbf{w_{y_i}}\cdot\mathbf{x_i}$ ).

Tuy nhiên, trong những điều trên, chúng ta không thể kết thúc với một tình huống mà các siêu máy bay phân loại tất cả các mẫu là thuộc về mỗi lớp. Ví dụ: nếu chúng ta đang xem lớp siêu phẳng tách lớp 1 từ tất cả các lớp khác, với điều kiện thì tổn thất phát sinh sẽ là 0 mặc dù bị phân loại là sai lớp.$1+\mathbf{w_k}\cdot\mathbf{x_i}<\mathbf{w_{y_i}}\cdot\mathbf{x_i}$$\mathbf{x_i}$

Tôi đã đi sai ở đâu? Hoặc không quan trọng liệu là âm hay dương với điều kiện kết thúc với số điểm cao hơn? Tôi có cảm giác rằng việc tôi sử dụng chức năng bản lề như tôi đã mô tả ở đây là không chính xác nhưng việc sử dụng Google của tôi ngày nay chỉ dẫn đến sự nhầm lẫn nhiều hơn.$\mathbf{w_k}\cdot\mathbf{x_i}$$\mathbf{w_{y_i}}\cdot\mathbf{x_i}$

Trên một lưu ý liên quan, tại sao có 1 trong các chức năng trên? Tôi nghĩ rằng nó sẽ có ít tác động.

Bài viết của bạn dường như là chính xác.

Cách mà các trình phân loại tuyến tính đa lớp được thiết lập là một ví dụ, , được phân loại theo siêu phẳng cho điểm cao nhất: . Không có vấn đề gì nếu những điểm số này là tích cực hoặc tiêu cực.$x$$\underset{k}{\mathrm{argmax}\,} w_k \cdot x$

Nếu tổn thất bản lề cho một ví dụ cụ thể bằng 0, thì điều này có nghĩa là ví dụ đó được phân loại chính xác. Để thấy điều này, tổn thất bản lề sẽ bằng 0 khi . Đây là điều kiện mạnh hơn , điều này cho thấy ví dụ được phân loại chính xác là .$1+w_{k}\cdot x_i<w_{y_i}\cdot x_i \;\forall k$$w_{k}\cdot x_i<w_{y_i}\cdot x_i \;\forall k$$i$$y_i$

Số 1 trong mất bản lề có liên quan đến "lề" của bộ phân loại.

Mất bản lề khuyến khích điểm số từ lớp chính xác, không chỉ cao hơn điểm số của tất cả các lớp khác, , mà còn cao hơn các điểm số này bởi một yếu tố phụ.$w_{y_i}\cdot x_i$$w_k\cdot x_i$

Chúng ta có thể sử dụng giá trị 1 cho lề vì khoảng cách của một điểm từ một siêu phẳng được chia tỷ lệ theo độ lớn của các trọng số tuyến tính: là khoảng cách của từ siêu phẳng với vectơ bình thường . Vì các trọng số là như nhau đối với tất cả các điểm trong bộ dữ liệu, nên vấn đề chỉ là tỷ lệ tỷ lệ L 1 1 là giống nhau cho tất cả các điểm dữ liệu.$\frac{w}{|w|}\cdot x$$x$$w$

Ngoài ra, nó có thể làm cho mọi thứ dễ hiểu hơn nếu bạn tham số hóa hàm mất là . Bạn hiện có các hàm mất như là một hàm của lề tuyến tính và điều này không nhất thiết phải như vậy.$L(x,y;w)$

Bạn đang thiếu kết quả / nhãn nhị phân (có thể lấy giá trị +1 và -1 cho một lớp nhất định) trong hàm mất: max (0, 1 - y * (w * x)) (xem chi tiết bên dưới).

Nhìn chung, tôi nghĩ rằng đặc tả ở trên (cả ký hiệu và hàm mất) làm phức tạp quá mức một so với tất cả - thay vào đó, người ta chỉ có thể lấy một lớp cụ thể, xây dựng kết quả + 1 / -1 y cũng như ma trận dữ liệu tương ứng X (với các cột Nf và các hàng Ni) và vectơ tham số w cho lớp đó và viết hàm mất bản lề tương ứng cho một trình phân loại nhị phân cổ điển cho lớp đó: sum (max (0, 1 - y * (w * x))) trong đó tổng là trên tất cả các trường hợp dữ liệu, x là một hàng X tương ứng với một thể hiện cụ thể. Người ta không cần "1" trong chức năng mất bản lề (vì y * (w * x)> = 1 tương ứng với dự đoán mô hình chính xác khi có liên quan đến chức năng mất).