Phân biệt mô hình tuyến tính và phi tuyến

13

Tôi đã đọc một số giải thích về các thuộc tính của mô hình tuyến tính và phi tuyến, nhưng đôi khi tôi vẫn không chắc chắn nếu một mô hình trên tay là tuyến tính hay phi tuyến. Ví dụ, mô hình sau là tuyến tính hay phi tuyến?

y_{t} = β_{0} + β_{1} B (L; θ) X_{t} + ε_{t}

$y_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t$

Với:

B (L; θ) = \sum_{k = 1}^{K} b (k; θ) L^{k}

$B(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k$

L^{k} X_{t} = X_{t - k}

$L^kX_t=X_{t-k}$

Trong đó đại diện cho (một phân rã) Hàm đa thức Almon hàm mũ có dạng: $b(k;\theta)$

b (k; θ) = \frac{\exp (θ_{1} k + θ_{2} k^{2})}{\sum_{k = 1}^{K} \exp (θ_{1} k + θ_{2} k^{2})}

$b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)}$

Theo quan điểm của tôi, phương trình chính của tôi (phương trình đầu tiên) là tuyến tính đối với , vì thuật ngữ này chỉ được nhân với trọng số. Nhưng tôi muốn nói hàm trọng số (phương trình cuối cùng) là phi tuyến đối với các tham số ans . $X_t$ $\theta_1$ $\theta_2$

Ai đó có thể giải thích cho tôi nếu chức năng chính của tôi là tuyến tính hay phi tuyến và nó có ý nghĩa gì đối với thủ tục ước lượng - tôi có phải áp dụng phương pháp bình phương tối thiểu tuyến tính hoặc phi tuyến không? Hơn nữa, tính năng rõ ràng bằng phương tiện nào mà tôi chắc chắn có thể xác định được nếu một hàm là phi tuyến hoặc tuyến tính?

linear-model nonlinear-regression nonlinear

— Người khai thác thông tin
nguồn

16

Với các định nghĩa thông thường về tuyến tính và phi tuyến liên quan đến mô hình hóa, nó không phải là tuyến tính đối với các yếu tố dự đoán là khía cạnh quan trọng, mà là tuyến tính đối với các tham số. Một mô hình phi tuyến là phi tuyến vì nó không tuyến tính trong các tham số.

Ví dụ, câu đầu tiên ở đây nói:

Trong thống kê, hồi quy phi tuyến là một dạng phân tích hồi quy trong đó dữ liệu quan sát được mô hình hóa bởi một hàm là sự kết hợp phi tuyến của các tham số mô hình và phụ thuộc vào một hoặc nhiều biến độc lập.

Ngược lại, Mô hình tuyến tính tổng quát thường có mối quan hệ phi tuyến giữa đáp ứng và dự đoán, nhưng đáp ứng trung bình biến đổi liên kết (bộ dự báo tuyến tính , ) là tuyến tính trong các tham số. $\eta$

[Theo định nghĩa đó, tôi tin rằng mô hình của bạn là phi tuyến trong s, mặc dù nếu được chỉ định (đã biết) thì tính phi tuyến đó không liên quan đến ước tính. Nếu chúng được trang bị, thì mô hình là phi tuyến.] $\theta$ $\theta$

— Glen_b -Reinstate Monica
nguồn

9

Tôi đồng ý với Glen_b. Trong các bài toán hồi quy, trọng tâm chính là các tham số chứ không phải biến độc lập hoặc bộ dự đoán, x. Và sau đó người ta có thể quyết định liệu người ta muốn tuyến tính hóa vấn đề bằng cách sử dụng các phép biến đổi đơn giản hay tiến hành nó như vậy.

Các vấn đề tuyến tính: đếm số lượng tham số trong vấn đề của bạn và kiểm tra xem tất cả chúng có sức mạnh không 1. Ví dụ: . Hàm này là phi tuyến tính trong . Nhưng đối với các vấn đề hồi quy, tính phi tuyến tính trong không phải là vấn đề. Người ta phải kiểm tra xem các tham số là tuyến tính hay tuyến tính. Trong trường hợp này, , , , .. đều có lũy thừa 1. Vì vậy, chúng là tuyến tính. $y = ax + bx^2 + cx^3 + d x^{2/3} + e/x + f x^{-4/7}$ $x$ $x$ $a$ $b$ $c$ $f$

Xin lưu ý rằng, trong , mặc dù có vẻ như nó có sức mạnh 1, nhưng khi mở rộng . Bạn có thể thấy rõ rằng đó là một tham số phi tuyến vì có công suất lớn hơn 1. Nhưng, vấn đề này có thể được tuyến tính hóa bằng cách gọi một phép biến đổi logarit. Đó là, một vấn đề hồi quy phi tuyến được chuyển đổi thành một vấn đề hồi quy tuyến tính. $y = \exp(ax)$ $\exp(ax) = 1 + ax/ 1! + (ax)^2 / 2! + \dots$

Tương tự, là một hàm logistic. Nó có ba tham số, đó là , và . Các tham số và có công suất lớn hơn 1 và khi được mở rộng, chúng nhân với mỗi khác, mang lại tính phi tuyến. Vì vậy, chúng không tuyến tính. Nhưng, chúng cũng có thể được tuyến tính hóa bằng cách sử dụng một sự thay thế thích hợp bằng cách đặt đầu tiên và sau đó gọi hàm logarit ở cả hai bên để tuyến tính hóa. $y = a / (1+b \exp(cx)$ $a$ $b$ $c$ $b$ $c$ $(a/y)-1 = Y$

Bây giờ giả sử . Đây là một lần nữa phi tuyến đối với các tham số. Nhưng, nó không thể được tuyến tính hóa. Người ta cần sử dụng hồi quy phi tuyến. $y = a_1 / (1+b_1\exp(c_1x)) + a_2 / (1+b_2\exp(c_2x))$

Về nguyên tắc, sử dụng chiến lược tuyến tính để giải quyết vấn đề hồi quy phi tuyến không phải là một ý tưởng hay. Vì vậy, giải quyết các vấn đề tuyến tính (khi tất cả các tham số có công suất 1) bằng cách sử dụng hồi quy tuyến tính và áp dụng hồi quy phi tuyến nếu các tham số của bạn là phi tuyến.

Trong trường hợp của bạn, thay thế hàm trọng số trở lại trong hàm chính. Tham số sẽ là tham số duy nhất có công suất 1. Tất cả các tham số khác là phi tuyến ( cuối cùng sẽ nhân với và (hai tham số này là tham số phi tuyến) khiến nó cũng là vấn đề hồi quy phi tuyến. . $\beta_0$ $\beta_1$ $\theta_1$ $\theta_2$

Áp dụng một kỹ thuật bình phương tối thiểu phi tuyến để giải quyết nó. Chọn các giá trị ban đầu một cách khéo léo và sử dụng cách tiếp cận nhiều bước để tìm cực tiểu toàn cầu.

Đoạn video này sẽ hữu ích (mặc dù nó không nói về giải pháp toàn cầu): http://www.youtube.com/watch?v=3Fd4ukzkxps

Sử dụng bộ giải phi tuyến GRG trong bảng tính Excel (cài đặt gói công cụ bộ giải bằng cách đi tới các tùy chọn - Bổ trợ - Bổ trợ Excel và sau đó chọn Bổ trợ bộ giải) và gọi đa cấp trong danh sách tùy chọn bằng cách quy định các khoảng cho các tham số và yêu cầu độ chính xác ràng buộc và độ hội tụ nhỏ, một giải pháp toàn cầu có thể thu được.

Nếu bạn đang sử dụng Matlab, hãy sử dụng hộp công cụ tối ưu hóa toàn cầu. Nó có các tùy chọn multistart và globalalsearch. Một số mã có sẵn ở đây cho một giải pháp toàn cầu, ở đây và ở đây .

Nếu bạn đang sử dụng Mathicala, hãy nhìn vào đây .

Nếu bạn đang sử dụng R, hãy thử ở đây .

— Bipi
nguồn

1

Cảm ơn, @Bipi, cho các ví dụ! Đối với cái thứ hai của bạn, nếu bạn đặt Y = (a / y - 1), làm thế nào bạn có thể tách tham số khỏi biến y?

— Vivek Subramanian

0

Chức năng chính là tuyến tính.

Sẽ không có vấn đề gì nếu các hàm đã biết phi tuyến ==> <== xuất hiện trong các phương trình. $B(L;\theta)$

Tôi sẽ tiến hành với một bình phương tối thiểu tuyến tính nếu tôi là bạn.

Đây là cách bạn xác nhận hoặc từ chối tuyến tính:

https://en.wikipedia.org/wiki/Non-linear#DefDef

Bạn cũng có thể thích:

https://en.wikipedia.org/wiki/Linear_combination

https://en.wikipedia.org/wiki/Least_squares

http://en.m.wikipedia.org/wiki/Linear_least_squares_(mathatures)

— Ace Frahm
nguồn

0

Nó sẽ dễ hiểu, nếu tôi giải thích nó trong ngữ cảnh của các chức năng.

Tuyến tính: Một hàm có độ dốc không đổi. Theo đại số, một đa thức có số mũ cao nhất bằng 1. Đó là một hàm có đồ thị là một đường thẳng. Ví dụ,y=2x+3

Phi tuyến tính: Một hàm có các thuộc tính đối nghịch của hàm tuyến tính. Một chức năng có độ dốc khác nhau. Đó là một đa thức có số mũ bằng 2 hoặc nhiều hơn. Đó là đồ thị không phải là một dòng. Ví dụ,y=x^2

[ http://study.com/academy/lesson/nonlinear-feft-def định-examples.html [[1 ]

— Irfanullah
nguồn

Các mô hình thống kê tuyến tính không giống như các hàm tuyến tính. Hàm phi tuyến tính với nhiễu cộng gộp vẫn có thể là mô hình tuyến tính do độ tuyến tính được xác định bởi các tham số mô hình chứ không phải các biến dự đoán.

— Michael R. Chernick