R bình phương và hồi quy đa thức bậc cao

Cốt truyện dưới đây cho thấy sự bão hòa của một con đường chống lại tác động đến thời gian hành trình (được chuẩn hóa thành thời gian hành trình tự do).

Đường cong màu xanh lam (chức năng BPR) trình bày một mô hình tiêu chuẩn được sử dụng trong trường để liên quan đến thời gian hành trình và độ bão hòa.

Đối với dữ liệu thực nghiệm tôi thu thập được, tôi đã vẽ sơ đồ khớp đa thức bậc ba, thể hiện bằng màu đỏ. Để đánh giá sự phù hợp này, tôi đã tìm thấy cho mức độ phù hợp thứ ba này. Điều này đã được đưa ra là 0,72. $R^2$

Tôi đã nói chuyện với một đồng nghiệp về và anh ấy chỉ cho tôi bài viết này. Tại sao không có R-Squared cho hồi quy phi tuyến? $R^2$

Tôi đã tìm thấy nhiều bài viết là $R^2$ được sử dụng để đánh giá sự phù hợp của đa thức bậc cao hơn và bây giờ tôi khá bối rối.

Là không phù hợp trong trường hợp này? Tôi nên sử dụng cái gì thay thế? $R^2$

regression chi-squared r-squared

— Học tập rõ ràng
nguồn

Hồi quy đa thức là tuyến tính - đó là các hệ số xác định độ tuyến tính của mô hình, không phải ma trận mô hình. Trên thực tế, kiểm tra bài tuyệt vời này . Vì vậy, tôi nghĩ rằng bạn đang đi đúng hướng.

— Antoni Parellada

Cảm ơn bạn @AntoniParellada. Điều đó làm cho đọc tuyệt vời. Tôi cũng rất vui mừng vì tôi không cần phải làm lại một số phân tích;)

— LearningSlowly

Hãy xem xét một đa thức:

β_{0} + β_{1} x + β_{2} x^{2} + Giáo dục + β_{k} x^{k}

$\beta_0 + \beta_1 x + \beta_2 x^2 + \ldots + \beta_k x^k$

Quan sát rằng đa thức là phi tuyến tính trong nhưng mà nó là tuyến tính trong . Nếu chúng ta đang cố gắng để ước lượng , đây là hồi quy tuyến tính! Độ tuyến tính trong $x$ $\boldsymbol{\beta}$ $\boldsymbol{\beta}$

y_{Tôi} = = β_{0} + β_{1} x_{Tôi} + β_{2} x_{Tôi}^{2} + Giáo dục + β_{k} x_{Tôi}^{k} + ε_{Tôi}

$y_i = \beta_0 + \beta_1 x_i + \beta_2 x_i^2 + \ldots + \beta_k x_i^k + \epsilon_i$

β = (β_{0}, β_{1}, \dots, β_{k})

$\boldsymbol{\beta} = (\beta_0, \beta_1, \ldots, \beta_k)$ là những gì quan trọng. Khi ước lượng phương trình trên theo bình phương tối thiểu, tất cả các kết quả của hồi quy tuyến tính sẽ được giữ.

Gọi là tổng bình phương, là tổng bình phương được giải thích và là tổng bình phương còn lại. Các hệ số xác định được định nghĩa là: $\mathit{SST}$ $\mathit{SSE}$ $\mathit{SSR}$ $R^2$

R^{2} = = 1 - \frac{S S R}{S S T}

$R^2 = 1 - \frac{\mathit{SSR}}{\mathit{SST}}$

$\mathit{SST} = \mathit{SSE} + \mathit{SSR}$ $R^2$

SST = SSE + SSR: Khi nào thì đúng và khi nào không đúng?

$\hat{y}_i$ $y_i$ $e_i = y_i - \hat{y}_i$ $f_i = \hat{y}_i - \bar{y}$

$\langle ., . \rangle$

\begin{aligned} ⟨ f + e, f + e ⟩ & = = ⟨ f, f ⟩ + 2 ⟨ f, e ⟩ + ⟨ e, e ⟩ \\ = = ⟨ f, f ⟩ + ⟨ e, e ⟩ nếu f và e trực giao, tức là sản phẩm bên trong của họ là 0 \end{aligned}

$\begin{align*} \langle \mathbf{f} + \mathbf{e}, \mathbf{f} + \mathbf{e} \rangle &= \langle \mathbf{f}, \mathbf{f} \rangle + 2\langle \mathbf{f}, \mathbf{e} \rangle + \langle \mathbf{e}, \mathbf{e} \rangle \\ &= \langle \mathbf{f}, \mathbf{f} \rangle + \langle \mathbf{e}, \mathbf{e} \rangle \quad \quad\text{if $\mathbf{f}$ and $\mathbf{e}$ orthogonal, i.e. their inner product is 0} \end{align*}$

⟨ a, b ⟩ = \sum_{i} a_{i} b_{i}

$\langle \mathbf{a}, \mathbf{b} \rangle = \sum_i a_i b_i$

$\langle \mathbf{f} + \mathbf{e}, \mathbf{f} + \mathbf{e} \rangle = \sum_i \left(y_i - \bar{y} \right)^2$
$\langle \mathbf{f}, \mathbf{f} \rangle = \sum_i \left(\hat{y}_i - \bar{y} \right)^2$
$\langle \mathbf{e}, \mathbf{e} \rangle = \sum_i \left(y_i - \hat{y}_i \right)^2$

$SST = SSE + SSR$ $\mathbf{f}$ $\mathbf{e}$ $\mathbf{y}$ $\hat{y}_i$

— Matthew Gunn
nguồn