Có nghĩa là gì khi chia sẻ các tham số giữa các tính năng và các lớp

Khi đọc bài viết này, có một dòng ghi "phân loại tuyến tính không chia sẻ tham số giữa các tính năng và lớp." Ý nghĩa của tuyên bố này là gì? Có nghĩa là các phân loại tuyến tính như hồi quy logistic cần các tính năng độc lập lẫn nhau?

Tôi sẽ cố gắng trả lời câu hỏi này thông qua hồi quy logistic , một trong những phân loại tuyến tính đơn giản nhất.

Trường hợp đơn giản nhất của hồi quy logistic là nếu chúng ta có một nhiệm vụ phân loại nhị phân ( và chỉ có một tính năng đầu vào ( ). Trong trường hợp này, đầu ra của hồi quy logistic sẽ là:$y \in\{0,1\})$$x \in R$

$$\hat y = σ(w \cdot x + b)$$ trong đó $w$ và $b$ đều là vô hướng . Đầu ra của mô hình $\hat y \in [0,1]$ tương ứng với xác suất $x$ sẽ thuộc loại $1$ .

Chúng tôi sẽ cố gắng chia cụm từ "phân loại tuyến tính không chia sẻ tham số giữa các tính năng và lớp" thành hai phần. Chúng tôi sẽ kiểm tra các trường hợp của nhiều tính năng và nhiều lớp riêng biệt để xem liệu hồi quy logistic có chia sẻ tham số cho bất kỳ tác vụ nào không:

Các phân loại tuyến tính chia sẻ các tham số giữa các tính năng?

Trong trường hợp này, với mỗi ví dụ, $y$ là một vô hướng lấy các giá trị nhị phân (như trước), trong khi $x$ là một vectơ có độ dài $N$ (trong đó $N$ là số lượng các tính năng). Ở đây, đầu ra là sự kết hợp tuyến tính của các tính năng đầu vào (nghĩa là tổng trọng số của các tính năng này cộng với các sai lệch).

x w N x ⋅ w w i x

$$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$$ nơi và là vector có độ dài . Sản phẩm tạo ra một vô hướng. Như bạn có thể thấy ở trên, có một trọng số riêng biệt cho mỗi tính năng đầu vào và các trọng số này là độc lập bởi tất cả các phương tiện. Từ đó, chúng ta có thể kết luận rằng không có chia sẻ tham số giữa các tính năng .$\mathbf x$$\mathbf w$$N$$\mathbf x \cdot \mathbf w$ $w_i$$x_i$

Các phân loại tuyến tính chia sẻ các tham số giữa các lớp?

Trong trường hợp này là vô hướng, tuy nhiên là vectơ có độ dài (trong đó là số lớp). Để giải quyết vấn đề này, hồi quy logistic về cơ bản tạo ra một đầu ra riêng cho mỗi lớpMỗi đầu ra là một vô hướng và tương ứng với xác suất thuộc về lớp .$x$$y$$M$$M$$y_j$$M$$y_j \in [0,1]$$x$$j$

$$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$$

Cách dễ nhất để nghĩ về điều này là hồi quy logistic độc lập đơn giản với mỗi đầu ra là:$M$

$$\hat y_j = σ(w_j \cdot x + b_j)$$

Từ những điều trên, rõ ràng là không có trọng số nào được chia sẻ giữa các lớp khác nhau .

đa tính năng và đa lớp :

Bằng cách kết hợp hai trường hợp trên, cuối cùng chúng ta cũng có thể đạt được trường hợp chung nhất của nhiều tính năng và nhiều lớp:

$$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$$ $\mathbf{ \hat y}$$M$$\mathbf x$$N$$\mathbf b$$M$$W$$(N \times M)$

Trong mọi trường hợp, các phân loại tuyến tính không chia sẻ bất kỳ tham số nào giữa các tính năng hoặc các lớp .

Để trả lời câu hỏi thứ hai của bạn, các trình phân loại tuyến tính có một giả định cơ bản rằng các tính năng cần phải độc lập , tuy nhiên đây không phải là điều mà tác giả của bài báo dự định nói.