Làm thế nào để biết sự khác biệt giữa mô hình hồi quy tuyến tính và phi tuyến tính?

27

Tôi đã đọc các liên kết sau đây về hồi quy phi tuyến tính SAS Non Tuyến tính . Sự hiểu biết của tôi từ việc đọc phần đầu tiên "Hồi quy phi tuyến so với hồi quy tuyến tính" là phương trình dưới đây thực sự là một hồi quy tuyến tính, điều đó có đúng không? Nếu vậy tại sao?

y = b_{1} x^{3} + b_{2} x^{2} + b_{3} x + c

$y = b_1x^3 + b_2x^2 + b_3x + c$

Tôi cũng có thể hiểu rằng trong đa cộng tuyến hồi quy phi tuyến tính không phải là một vấn đề? Tôi biết rằng đa cộng tuyến có thể là một vấn đề trong hồi quy tuyến tính vì vậy chắc chắn nếu mô hình trên thực tế là hồi quy tuyến tính thì sẽ có đa cộng tuyến?

— mHelpMe
nguồn

Liên quan chặt chẽ: stats.stackexchange.com/questions/33876 .

— whuber

Cũng liên quan: Có nghĩa là đường congvilinear có nghĩa là gì?

— gung - Tái lập Monica

35

Có (ít nhất) ba giác quan trong đó hồi quy có thể được coi là "tuyến tính". Để phân biệt chúng, hãy bắt đầu với một mô hình hồi quy cực kỳ chung

Y = f (X, θ, ε) .

$Y = f(X,\theta,\varepsilon).$

Để giữ cho cuộc thảo luận đơn giản, hãy lấy các biến độc lập được cố định và đo chính xác (thay vì các biến ngẫu nhiên). Họ mô hình quan sát của thuộc tính mỗi, làm phát sinh các -vector phản ứng . Thông thường, được biểu diễn dưới dạng ma trận và là cột -vector. Các (hữu hạn -vector) bao gồm các thông số . là một biến ngẫu nhiên vector có giá trị. Nó thường có $X$ $n$ $p$ $n$ $Y$ $X$ $n\times p$ $Y$ $n$ $q$ $\theta$ $\varepsilon$ $n$ các thành phần, nhưng đôi khi có ít hơn. Chức năng là vector có giá trị (với thành phần để phù hợp với ) và thường được giả định liên tục trong hai đối số cuối cùng của nó ( và ). $f$ $n$ $Y$ $\theta$ $\varepsilon$

Ví dụ nguyên mẫu , về việc khớp một dòng với dữ liệu , là trường hợp là một vectơ của các số $(x,y)$ $X$ --Thư x-giá trị; là một vectơ song song của số ; cung cấp cho các đánh chặn và độ dốc ; và $(x_i,\,i=1,2,\ldots,n)$ $Y$ $n$ $(y_i)$ $\theta = (\alpha,\beta)$ $\alpha$ $\beta$ $\varepsilon = (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)$ là một vectơ của "lỗi ngẫu nhiên" có các thành phần độc lập (và thường được giả định là có các phân phối giống hệt nhau nhưng chưa biết về giá trị trung bình bằng 0). Trong ký hiệu trước,

y_{i} = α + β x_{i} + ε_{i} = f (X, θ, ε)_{i}

$y_i = \alpha + \beta x_i +\varepsilon_i = f(X,\theta,\varepsilon)_i$

với . $\theta = (\alpha,\beta)$

Hàm hồi quy có thể là tuyến tính trong bất kỳ (hoặc tất cả) ba đối số của nó:

"Hồi quy tuyến tính, hay" mô hình tuyến tính ", thông thường có nghĩa là là tuyến tính như là một hàm của các tham số . Ý nghĩa của SAS là" hồi quy phi tuyến " theo nghĩa này, với giả định được thêm vào rằng là khác biệt trong đối số thứ hai của nó (các tham số). Giả định này giúp tìm giải pháp dễ dàng hơn. $f$ $\theta$ $f$
Một "mối quan hệ tuyến tính giữa và " có nghĩa là là tuyến tính là một hàm của . $X$ $Y$ $f$ $X$
Một mô hình có lỗi cộng khi là tuyến tính trong . Trong những trường hợp như vậy, luôn luôn giả sử rằng . (Nếu không, nó sẽ không có quyền nghĩ về là "lỗi" hoặc "sai lệch" từ giá trị "đúng".) $f$ $\varepsilon$ $\mathbb{E}(\varepsilon) = 0$ $\varepsilon$

Mọi sự kết hợp có thể của các đặc điểm này có thể xảy ra và hữu ích. Hãy khảo sát các khả năng.

Một mô hình tuyến tính của một mối quan hệ tuyến tính với các lỗi phụ gia. Đây là hồi quy (nhiều) thông thường, đã được trình bày ở trên và thường được viết là

$Y = X θ + ε .$ $Y = X\theta + \varepsilon.$
đã được tăng cường, nếu cần thiết, bởi liền kề một cột của các hằng số, và là một -vector. $X$ $\theta$ $p$
Một mô hình tuyến tính của mối quan hệ phi tuyến với các lỗi phụ gia. Điều này có thể được xem như là một hồi quy bội bằng cách tăng các cột của với các hàm phi tuyến của chính Ví dụ, $X$ $X$

$y_{i} = α + β x_{i}^{2} + ε$ $y_i = \alpha + \beta x_i^2 + \varepsilon$
là của hình thức này. Đây là tuyến tính trong ; nó có lỗi phụ gia; và nó là tuyến tính trong các giá trị mặc dù là hàm phi tuyến của . $\theta=(\alpha,\beta)$ $(1,x_i^2)$ $x_i^2$ $x_i$
Một mô hình tuyến tính của một mối quan hệ tuyến tính với các lỗi không tăng. Một ví dụ là lỗi nhân,

$y_{i} = (α + β x_{i}) ε_{i} .$ $y_i = (\alpha + \beta x_i)\varepsilon_i.$
(Trong những trường hợp như vậy, có thể được hiểu là "lỗi nhân" khi vị trí của là Tuy nhiên, ý nghĩa chính xác của vị trí không nhất thiết là kỳ vọng nữa: nó có thể là trung vị hoặc ví dụ, có nghĩa là một nhận xét tương tự về các giả định vị trí, với những sửa đổi thích hợp , trong tất cả các bối cảnh lỗi không phụ gia khác.) $\varepsilon_i$ $\varepsilon_i$ $1$ $\mathbb{E}(\varepsilon_i)$
Một mô hình tuyến tính của một mối quan hệ phi tuyến với các lỗi không tăng. ví dụ ,

$y_{i} = (α + β x_{i}^{2}) ε_{i} .$ $y_i = (\alpha + \beta x_i^2)\varepsilon_i.$
Một mô hình phi tuyến của mối quan hệ tuyến tính với các lỗi phụ gia. Một mô hình phi tuyến bao gồm các kết hợp của các tham số không chỉ là phi tuyến, chúng thậm chí không thể được tuyến tính hóa bằng cách thể hiện lại các tham số.
- Là một phi Ví dụ, xem xét
  
  $y_{i} = α β + β^{2} x_{i} + ε_{i} .$ $y_i = \alpha\beta + \beta^2 x_i + \varepsilon_i.$
  Bằng việc xác định và , và hạn chế , mô hình này có thể được viết lại $\alpha^\prime = \alpha\beta$ $\beta^\prime=\beta^2$ $\beta^\prime \ge 0$
  
  $y_{i} = α^{'} + β^{'} x_{i} + ε_{i},$ $y_i = \alpha^\prime + \beta^\prime x_i + \varepsilon_i,$
  trưng bày nó như một mô hình tuyến tính (của mối quan hệ tuyến tính với các lỗi cộng gộp).
- Như một ví dụ, xem xét
  
  $y_{i} = α + α^{2} x_{i} + ε_{i} .$ $y_i = \alpha + \alpha^2 x_i + \varepsilon_i.$
  Không thể tìm thấy một tham số mới , tùy thuộc vào , mà sẽ linearize này như một chức năng của (trong khi vẫn giữ nó tuyến tính trong cũng). $\alpha^\prime$ $\alpha$ $\alpha^\prime$ $x_i$
Một mô hình phi tuyến của mối quan hệ phi tuyến với các lỗi phụ gia.

$y_{i} = α + α^{2} x_{i}^{2} + ε_{i} .$ $y_i = \alpha + \alpha^2 x_i^2 + \varepsilon_i.$
Một mô hình phi tuyến của một mối quan hệ tuyến tính với các lỗi không tăng.

$y_{i} = (α + α^{2} x_{i}) ε_{i} .$ $y_i = (\alpha + \alpha^2 x_i)\varepsilon_i.$
Một mô hình phi tuyến của một mối quan hệ phi tuyến với các lỗi không tăng.

$y_{i} = (α + α^{2} x_{i}^{2}) ε_{i} .$ $y_i = (\alpha + \alpha^2 x_i^2)\varepsilon_i.$

Mặc dù chúng thể hiện tám hình thức hồi quy riêng biệt , chúng không tạo thành một hệ thống phân loại vì một số hình thức có thể được chuyển đổi thành các hình thức khác. Một ví dụ tiêu chuẩn là việc chuyển đổi mô hình tuyến tính với các lỗi không tăng (giả định có hỗ trợ tích cực)

y_{i} = (α + β x_{i}) ε_{i}

$y_i = (\alpha + \beta x_i)\varepsilon_i$

vào một mô hình tuyến tính của một mối quan hệ phi tuyến với các lỗi phụ qua logarit,

\log (y_{i}) = μ_{i} + \log (α + β x_{i}) + (\log (ε_{i}) - μ_{i})

$\log(y_i) = \mu_i + \log(\alpha + \beta x_i) + (\log(\varepsilon_i) - \mu_i)$

Ở đây, các bản ghi hình học trung bình đã bị xóa khỏi các điều khoản lỗi (để đảm bảo họ có không có nghĩa là, theo yêu cầu) và đưa vào các điều khoản khác (trong đó giá trị của nó sẽ cần phải được ước tính ). Thật vậy, một lý do chính để thể hiện lại biến phụ thuộc là tạo ra một mô hình có lỗi phụ gia. Biểu thức lại cũng có thể tuyến tính hóa như là một hàm của một (hoặc cả hai) các tham số và các biến giải thích. $\mu_i = \mathbb{E}\left(\log(\varepsilon_i)\right)$ $Y$ $Y$

Cộng tác

Collinearity (của các vectơ cột trong ) có thể là một vấn đề trong bất kỳ hình thức hồi quy nào. Chìa khóa để hiểu điều này là nhận ra rằng cộng tuyến dẫn đến khó khăn trong việc ước tính các tham số. Trừu tượng và khá chung, so sánh hai mô hình và nơi là với một cột hơi thay đổi. Nếu điều này gây ra những thay đổi lớn trong các ước tính $X$ $Y = f(X,\theta,\varepsilon)$ $Y=f(X^\prime,\theta,\varepsilon^\prime)$ $X^\prime$ $X$ và, sau đó rõ ràng là chúng ta có một vấn đề. Một cách thức mà vấn đề này có thể xảy ra là trong một mô hình tuyến tính, tuyến tính trong(có nghĩa là, các loại (1) hoặc (5) ở trên), nơi các thành phần củalà trong one-to-one tương ứng với các cột của. Khi một cột là một tổ hợp tuyến tính không tầm thường của các cột khác, ước tính của tham số tương ứng của nó có thể là bất kỳ số thực nào. Đó là một ví dụ cực đoan về sự nhạy cảm như vậy. $\hat\theta$ $\hat\theta^\prime$ $X$ $\theta$ $X$

Từ quan điểm này, rõ ràng rằng cộng tuyến là một vấn đề tiềm năng đối với các mô hình tuyến tính của các mối quan hệ phi tuyến tính (bất kể tính gây nghiện của các lỗi) và khái niệm cộng tuyến tổng quát này có thể là một vấn đề trong bất kỳ mô hình hồi quy nào. Khi bạn có các biến dư thừa, bạn sẽ gặp vấn đề khi xác định một số tham số.

— whuber
nguồn

bạn có thể giới thiệu một cách đọc ngắn gọn, giới thiệu sẽ giúp tôi hiểu rõ hơn về tuyến tính hóa mà bạn đề cập, đó là trung tâm của sự khác biệt giữa ví dụ của bạn và phi ví dụ ở điểm 5. Cảm ơn bạn.

— ColorStatistic

@Color Tôi không quen thuộc với bất kỳ. Theo các giả định nhẹ về sự khác biệt của các phép biến đổi có thể xảy ra, điều này được giải quyết bằng lý thuyết về phương trình vi phân từng phần (PDEs).

— whuber

0

Bạn nên bắt đầu ngay bây giờ bằng cách tạo sự khác biệt giữa thực tế và mô hình bạn đang sử dụng để mô tả nó

Phương trình bạn vừa đề cập là một phương trình đa thức (x ^ power) tức là. phi tuyến tính ... nhưng bạn vẫn có thể mô hình hóa nó bằng mô hình tuyến tính tổng quát (sử dụng hàm liên kết) hoặc hồi quy đa thức vì các tham số là tuyến tính (b1, b2, b3, c)

Hy vọng rằng đã giúp, nó thực sự là một chút sơ sài: thực tế / mô hình

— Po Stulat
nguồn

3

Điều này có thể được ước tính thông qua bình phương tối thiểu thông thường vì mô hình là tuyến tính trong các tham số.

— Nhà phân tích

Vì vậy, tất cả để làm với các tham số? nếu chúng ta b3 ^ 2 * x thì nó vẫn là tuyến tính?

— mHelpMe

0

Một mô hình là tuyến tính nếu nó là tuyến tính trong các tham số hoặc có thể được chuyển đổi thành tuyến tính trong các tham số (tuyến tính hóa). Mô hình tuyến tính có thể mô hình các mối quan hệ tuyến tính hoặc phi tuyến tính. Hãy mở rộng trên mỗi thứ này.

Một mô hình là tuyến tính trong các tham số nếu nó có thể được viết dưới dạng tổng của các số hạng, trong đó mỗi thuật ngữ là một hằng số hoặc một tham số nhân với một yếu tố dự đoán (X _i ):

Lưu ý rằng định nghĩa này là rất hẹp. Chỉ các mô hình đáp ứng định nghĩa này là tuyến tính. Mỗi mô hình khác, là phi tuyến tính.

Có hai loại mô hình tuyến tính bị nhầm lẫn cho mô hình phi tuyến tính:

1. Mô hình tuyến tính của mối quan hệ phi tuyến tính

Ví dụ, mô hình dưới đây mô hình mối quan hệ phi tuyến tính (vì đạo hàm của Y đối với X ₁ là hàm của X ₁ ). Bằng cách tạo một biến mới W ₁ = X ₁² và viết lại phương trình với W ₁ thay thế X ₁² , chúng ta có một phương trình thỏa mãn định nghĩa của mô hình tuyến tính.

2. Các mô hình không tuyến tính ngay lập tức nhưng có thể trở thành tuyến tính sau khi chuyển đổi (tuyến tính hóa). Dưới đây là 2 ví dụ về mô hình tuyến tính hóa:

Ví dụ 1:

Mô hình này có thể không tuyến tính vì nó không đáp ứng định nghĩa của mô hình tuyến tính trong các tham số, tuy nhiên nó có thể được chuyển đổi thành mô hình tuyến tính do đó nó là tuyến tính hóa / biến đổi tuyến tính và do đó được coi là tuyến tính mô hình. Các biến đổi sau đây sẽ tuyến tính hóa nó. Bắt đầu bằng cách lấy logarit tự nhiên của cả hai bên để có được:

sau đó thực hiện các thay thế sau:

để có được mô hình tuyến tính dưới đây:

Ví dụ 2:

Mô hình này có thể không tuyến tính vì nó không đáp ứng định nghĩa của mô hình tuyến tính trong các tham số, tuy nhiên nó có thể được chuyển đổi thành mô hình tuyến tính do đó nó là tuyến tính hóa / biến đổi tuyến tính và do đó được coi là tuyến tính mô hình. Các biến đổi sau đây sẽ tuyến tính hóa nó. Bắt đầu bằng cách lấy đối ứng của cả hai bên để có được:

sau đó thực hiện các thay thế sau:

để có được mô hình tuyến tính dưới đây:

Bất kỳ mô hình nào không tuyến tính (thậm chí không thông qua tuyến tính hóa) là phi tuyến tính. Hãy nghĩ về nó theo cách này: Nếu một mô hình không đáp ứng định nghĩa của mô hình tuyến tính thì đó là mô hình phi tuyến tính, trừ khi nó có thể được chứng minh là tuyến tính hóa, tại thời điểm đó, nó có quyền được gọi là mô hình tuyến tính.

Câu trả lời của Whuber ở trên cũng như câu trả lời của Glen_b trong liên kết này sẽ thêm màu sắc cho câu trả lời của tôi. Mô hình tuyến tính phi tuyến so với tổng quát: Làm thế nào để bạn đề cập đến hồi quy logistic, Poisson, v.v.

— ColorStatistic
nguồn