Tại sao điều quan trọng là phải phân biệt giữa hồi quy tuyến tính và so với hồi quy không tuyến tính?

12

Tầm quan trọng của sự khác biệt giữa các mô hình tuyến tính và phi tuyến tính là gì? Câu hỏi Mô hình tuyến tính phi tuyến so với tổng quát: Làm thế nào để bạn đề cập đến hồi quy logistic, Poisson, v.v. và câu trả lời của nó là một sự làm rõ cực kỳ hữu ích về tính tuyến tính / phi tuyến tính của các mô hình tuyến tính tổng quát. Có vẻ rất quan trọng để phân biệt tuyến tính với các mô hình phi tuyến tính, nhưng tôi không rõ tại sao? Ví dụ, hãy xem xét các mô hình hồi quy sau:

\begin{aligned} (1) & E [Y ∣ X] & = β_{0} + β_{1} X \\ (2) & E [Y ∣ X] & = β_{0} + β_{1} X + β_{2} X^{2} \\ (3) & E [Y ∣ X] & = β_{0} + β_{1}^{2} X \\ (4) & E [Y ∣ X] & = {1 + \exp (- [β_{0} + β_{1} X]}^{- 1} \end{aligned}

$\begin{align} E[Y \mid X] & = \beta_0 + \beta_1 X \tag{1} \\ E[Y \mid X] & = \beta_0 + \beta_1 X + \beta_2 X^2 \tag{2} \\ E[Y \mid X] & = \beta_0 + \beta_1^2 X \tag{3} \\ E[Y \mid X] & = \{1+\exp(-[ \beta_0 + \beta_1 X]\}^{-1} \tag{4} \end{align}$

Cả Mô hình 1 và 2 đều tuyến tính và các giải pháp để tồn tại ở dạng đóng, dễ dàng tìm thấy bằng cách sử dụng công cụ ước tính OLS tiêu chuẩn. Không phải như vậy đối với mô hình 3 và 4, đó là phi tuyến vì (một số) các dẫn xuất của WRT vẫn là chức năng của . $\beta$ $E[Y\mid X]$ $\beta$ $\beta$

Một giải pháp đơn giản để ước lượng trong mô hình 3 là để linearize mô hình bằng cách thiết lập , ước tính sử dụng một mô hình tuyến tính, và sau đó tính toán $\beta_1$ $\gamma = \beta_1^2$ $\gamma$ . $\beta_1 = \sqrt{\gamma}$

Để ước tính các tham số trong Mô hình 4, chúng ta có thể giả sử tuân theo phân phối nhị thức (thành viên của họ hàm mũ) và, bằng cách sử dụng thực tế rằng dạng logistic của mô hình là liên kết chính tắc, tuyến tính hóa rhs của mô hình. Đây là đóng góp tinh thần của Nelder và Wedderburn . $Y$

Nhưng tại sao sự phi tuyến tính này là một vấn đề ngay từ đầu? Tại sao người ta không thể đơn giản sử dụng một số thuật toán lặp để giải Mô hình 3 mà không tuyến tính hóa bằng cách sử dụng hàm căn bậc hai hoặc Mô hình 4 mà không cần gọi GLM. Tôi nghi ngờ rằng trước khi có sức mạnh tính toán rộng rãi, các nhà thống kê đã cố gắng tuyến tính hóa mọi thứ. Nếu đúng, thì có lẽ những "vấn đề" được giới thiệu bởi phi tuyến tính là một tàn dư của quá khứ? Là các biến chứng được đưa ra bởi các mô hình phi tuyến tính chỉ đơn thuần là tính toán, hoặc có một số vấn đề lý thuyết khác làm cho các mô hình phi tuyến tính trở nên khó khăn hơn để phù hợp với dữ liệu hơn các mô hình tuyến tính?

linear-model nonlinear-regression nonlinear

— người dùng1849779
nguồn

1

Nếu bạn muốn ước tính

, chỉ cần ước lượng

(đơn giản tuyến tính hồi quy) và sau đó đi

E [Y | X] = β_{0} + β_{1}^{2} X

$E[Y|X] = \beta_0 + \beta_1^2 X$

E [Y | X] = β_{0} + γ X

$E[Y|X] = \beta_0 + \gamma X$

...

β_{1} = \sqrt{γ}

$\beta_1 = \sqrt{\gamma}$

— Tim

@Tim, cảm ơn vì nhận xét. Tôi đã nhận thức được sự chuyển đổi này như một khả năng, nhưng đã cố gắng hỏi một câu hỏi hơi khác. Tôi đã chỉnh sửa câu hỏi, hy vọng sẽ tốt hơn.

— dùng1849779

5

Tôi có thể thấy hai sự khác biệt chính:

tuyến tính làm cho nó đơn giản và mạnh mẽ. Ví dụ, OLS (tuyến tính) là công cụ ước tính không thiên vị trong phân phối nhiễu không xác định. Nói chung, GLM và các mô hình phi tuyến tính thì không. OLS cũng mạnh mẽ cho các mô hình cấu trúc lỗi khác nhau (hiệu ứng ngẫu nhiên, phân cụm, v.v.) trong đó trong các mô hình phi tuyến tính, bạn thường phải đảm nhận phân phối chính xác các thuật ngữ này.
Việc giải quyết nó rất dễ dàng: chỉ cần một vài phép nhân ma trận + 1 nghịch đảo. Điều này có nghĩa là bạn hầu như luôn có thể giải quyết nó, ngay cả trong trường hợp hàm mục tiêu gần như phẳng (đa hướng.) Các phương pháp lặp có thể không hội tụ trong các trường hợp có vấn đề như vậy (theo một nghĩa nào đó, là một điều tốt.) Giải quyết dễ dàng có thể hoặc có thể không phải là một vấn đề ngày nay Máy tính nhận được nhanh hơn, nhưng dữ liệu trở nên lớn hơn. Bạn đã bao giờ thử chạy hồi quy logit trên các quan sát 1G chưa?

Bên cạnh đó, các mô hình tuyến tính dễ giải thích hơn. Trong các mô hình tuyến tính, các hiệu ứng cận biên bằng với các hệ số và không phụ thuộc vào các giá trị X (mặc dù các thuật ngữ đa thức làm tăng tính đơn giản này.)

— Ott Toomet
nguồn

Tôi phân biệt chủ yếu là một trong những tiện lợi hoặc sử dụng lịch sử.

— Martha

2

Nhiều mô hình trong sinh học (và các lĩnh vực khác) là phi tuyến, do đó phù hợp nhất với hồi quy phi tuyến. Toán học là rất khác nhau, tất nhiên. Nhưng theo quan điểm của nhà phân tích dữ liệu, thực sự chỉ có một sự khác biệt quan trọng.

Hồi quy phi tuyến đòi hỏi các giá trị ước tính ban đầu cho mỗi tham số. Nếu các ước tính ban đầu này bị loại bỏ, chương trình hồi quy phi tuyến có thể hội tụ ở mức tối thiểu sai và cho kết quả vô ích hoặc sai lệch.

— Harvey Motulsky
nguồn

2

Đây chắc chắn là một phần của câu trả lời. Nhưng, bằng cách cho rằng sự khác biệt duy nhất là một cái gì đó có giá trị kỹ thuật nhỏ, bạn có thể giảm thiểu quá mức các vấn đề của các mô hình phi tuyến. Ví dụ, một số đơn giản phát sinh trong sinh học có thể có cực tiểu địa phương khác nhau, tất cả đều gần với cực tiểu toàn cầu. Vấn đề định tính cơ bản này không được giải quyết bằng năng lực tính toán được cải thiện hoặc các kỹ thuật tối ưu hóa tốt hơn: bản chất của nhiều mô hình phi tuyến rất khác với các mô hình tuyến tính đến mức chúng đòi hỏi phải suy nghĩ sâu sắc về ý nghĩa và cách giải thích của chúng.

— whuber

1

Đầu tiên tôi sẽ thay thế từ 'mô hình' cho từ 'hồi quy'. Tôi nghĩ rằng đối với cả hai từ, người ta thực sự hỏi phương trình liên quan xác định mô hình là gì và giả thuyết liên quan là gì liên quan đến các giá trị của biến phụ thuộc và các giá trị được dự đoán bởi phương trình / mô hình. Tôi nghĩ rằng thuật ngữ 'mô hình' là tiêu chuẩn hơn. Nếu bạn đồng ý với điều đó, hãy đọc tiếp.

$\phi_1, \ldots, \phi_n$ $\phi_1, \ldots, \phi_n$ $\phi_i = x^i$ $\epsilon_i = y_i - \sum a_{ij}x^j$ là Gaussian. Imho, tôi nghĩ rằng wikipedia có một lời giải thích rất hợp lý về các mô hình tuyến tính nói chung. Tôi nghĩ đây là câu quan trọng - "GLM tổng quát hóa hồi quy tuyến tính bằng cách cho phép mô hình tuyến tính liên quan đến biến trả lời thông qua hàm liên kết và bằng cách cho phép độ lớn của phương sai của mỗi phép đo là một hàm của giá trị dự đoán của nó. " Vì vậy, một glm cho phép một thuật ngữ lỗi chung hơn. Điều này cho phép linh hoạt hơn trong mô hình. Giá cả ? Tính đúng mô hình thì khó hơn. Người ta không còn có một phương pháp đơn giản để tính các hệ số. Các hệ số của hồi quy tuyến tính có thể được tìm thấy bằng cách giảm thiểu một hàm bậc hai có một mức tối thiểu duy nhất. Theo lời của Borat, cho một glm, không quá nhiều. Người ta phải tính toán mle,

— ồ
nguồn

1

Một mô hình phi tuyến cũng có thể giả định rằng phần dư được lấy mẫu từ phân phối Gaussian. Một ví dụ đơn giản là hoạt động của enzyme (Y) là một hàm của nồng độ cơ chất (X). Y = Vmax * X / (Km + X) Thông thường và hợp lý khi giả định rằng phần dư là gaussian, tuy nhiên đây là một phương trình phi tuyến phù hợp với hồi quy phi tuyến.

— Harvey Motulsky

2

Các mô hình phi tuyến bao gồm nhiều hơn GLM. GLM rất phổ biến vì chúng "gần như" tuyến tính trong các tham số: tất cả các phi tuyến được giới hạn trong một hàm của một biến duy nhất, "liên kết". Điều này cho phép các giải pháp tương đối hiệu quả, đáng tin cậy. Các mô hình phi tuyến khác ít dễ điều khiển hơn. Khái niệm về tuyến tính phần lớn tách biệt với bản chất của phần dư, mặc dù trong một số trường hợp, có ích để phân biệt phần dư phụ gia với các dạng biến đổi khác.

— whuber