Sự khác biệt giữa hồi quy perceptron tuyến tính và hồi quy tuyến tính LS là gì?

Gần đây, một dự án tôi tham gia đã sử dụng một tri giác tuyến tính cho hồi quy bội (21 dự đoán). Nó sử dụng GD ngẫu nhiên. Điều này khác với hồi quy tuyến tính OLS như thế nào?

regression machine-learning

— Simon Kuang
nguồn

Các Perceptronlớp học mà bạn liên kết đến là dành cho một bộ phân loại (đầu ra nhị phân) chứ không phải là một regressor (đầu ra liên tục). Đó có phải là mã thực tế bạn đã sử dụng? Nếu vậy, đó là sự khác biệt. :)

— Dougal

@Dougal, nó vẫn được tính trong số các GLM mặc dù: scikit-learn.org/ sóng / /

— Simon Kuang

@Dougal: giả sử bạn có (G) LM mà bạn đã tối ưu hóa thành L2 bằng cách sử dụng SGDRegressor; điều này sẽ tương đương với hồi quy tuyến tính?

— Simon Kuang

Có, một số GLM là phân loại. Nếu bạn đã sử dụng SGDRegressor(loss='squared_loss', penalty='none'), đó là OLS.

— Dougal

PerceptronSGDClassifier(loss="perceptron", penalty=None, learning_rate="constant", eta0=1)

\frac{1}{N} \sum_{i = 1}^{N} max (0, - y_{i} w^{T} x_{i}) .

$\frac{1}{N} \sum_{i=1}^N \max(0, - y_i w^T x_i).$

y_{i} \in {- 1, 1}

$y_i \in \{-1, 1\}$

w^{T} x_{i}

$w^T x_i$

\frac{1}{N} \sum_{i = 1}^{N} (y_{i} - w^{T} x_{i})^{2} .

$\frac{1}{N} \sum_{i=1}^N (y_i - w^T x_i)^2.$

y_{i}

$y_i$

{- 1, 1}

$\{-1, 1\}$ SGDRegressor(loss="squared_loss", penalty=None)

$\mathrm{sign}(w^T x_i)$ $w^T x_i$

— Dougal
nguồn