Hồi quy đa thức sử dụng scikit-learn

Tôi đang cố gắng sử dụng scikit-learn cho hồi quy đa thức. Từ những gì tôi đọc hồi quy đa thức là một trường hợp đặc biệt của hồi quy tuyến tính. Tôi đã hy vọng rằng có thể một trong những mô hình tuyến tính tổng quát của scikit có thể được tham số hóa để phù hợp với đa thức bậc cao hơn nhưng tôi thấy không có tùy chọn nào để làm điều đó.

Tôi đã quản lý để sử dụng một Regressor Vector hỗ trợ với một hạt nhân poly. Điều đó hoạt động tốt với một tập hợp con dữ liệu của tôi, nhưng phải mất nhiều thời gian để phù hợp với các tập dữ liệu lớn hơn nên tôi vẫn cần tìm thứ gì đó nhanh hơn (ngay cả khi giao dịch chính xác).

Tôi có thiếu một cái gì đó rõ ràng ở đây?

Cho dữ liệu , vectơ cột và y , vectơ đích, bạn có thể thực hiện hồi quy đa thức bằng cách nối các đa thức của x . Ví dụ, xem xét nếu$\mathbf{x}$$\mathbf{y}$$\mathbf{x}$

$$\mathbf{x} = \begin{bmatrix} 2 \\[0.3em] -1 \\[0.3em] \frac{1}{3} \end{bmatrix}$$

Chỉ sử dụng vectơ này trong hồi quy tuyến tính ngụ ý mô hình:

$$y = \alpha_1 x$$

$$X = \begin{bmatrix} 2 & 4 & 8 \\[0.3em] -1 & 1 & -1 \\[0.3em] \frac{1}{3} & \frac{1}{3^2} & \frac{1}{3^3} \end{bmatrix}$$

Đây là ma trận dữ liệu mới của chúng tôi mà chúng tôi sử dụng trong hồi quy tuyến tính của sklearn và nó đại diện cho mô hình:

$$y = \alpha_1 x + \alpha_2x^2 + \alpha_3x^3$$

---

$1$

Học thuyết

Hồi quy đa thức là một trường hợp đặc biệt của hồi quy tuyến tính. Với ý tưởng chính về cách bạn chọn các tính năng của bạn. Nhìn vào hồi quy đa biến với 2 biến: x1và x2. Hồi quy tuyến tính sẽ như thế này:y = a1 * x1 + a2 * x2.

Bây giờ bạn muốn có một hồi quy đa thức (hãy thực hiện đa thức 2 độ). Chúng tôi sẽ tạo ra một vài tính năng bổ sung: x1*x2, x1^2và x2^2. Vì vậy, chúng tôi sẽ nhận được 'hồi quy tuyến tính' của bạn:

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

Điều này độc đáo cho thấy một lời nguyền khái niệm quan trọng về chiều , bởi vì số lượng các tính năng mới tăng nhanh hơn nhiều so với tuyến tính với sự tăng trưởng của mức độ đa thức. Bạn có thể xem qua khái niệm này ở đây .

Thực hành với scikit-learn

Bạn không cần phải làm tất cả điều này trong scikit. Hồi quy đa thức đã có sẵn ở đó (trong phiên bản 0.15 . Kiểm tra cách cập nhật tại đây ).

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [[0.49, 0.18]]
#Edit: added second square bracket above to fix the ValueError problem

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)

$x_1$$x_2$$y = a_1x_1 + a_2x_2 + a_3x_1^2 + a_4x_2^2 + a_5x_1x_2$$a_5x_1x_2$) là một trong những tôi đang nói về.