Không tuyến tính trong các thông số có nghĩa là gì?

Mô hình hồi quy tuyến tính là tuyến tính trong các tham số.

Điều này thực sự có ý nghĩa gì?

Xét một phương trình có dạng

$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

trong đó 'là các biến và ' là các tham số. Ở đây, y là hàm tuyến tính của '(tuyến tính trong tham số) và cũng là hàm tuyến tính của ' s (tuyến tính theo biến). Nếu bạn thay đổi phương trình thànhβ β $x$$\beta$$\beta$$x$

$y = \beta_0 + \beta_1x_1 + \beta_2x_1^2 + \epsilon$

Sau đó, nó không còn tuyến tính trong các biến (vì thuật ngữ bình phương) nhưng nó vẫn là tuyến tính trong các tham số. Và đối với (nhiều) hồi quy tuyến tính, đó là tất cả những gì quan trọng bởi vì cuối cùng, bạn đang cố gắng tìm một tập hợp để giảm thiểu chức năng mất. Đối với điều đó, bạn cần phải giải một hệ phương trình tuyến tính . Với các đặc tính tốt đẹp của nó, nó có một giải pháp dạng đóng giúp cuộc sống của chúng ta dễ dàng hơn. Mọi thứ trở nên khó khăn hơn khi bạn đối phó với các phương trình phi tuyến.$\beta$

Giả sử bạn không xử lý mô hình hồi quy mà thay vào đó bạn gặp vấn đề về lập trình toán học: Bạn đang cố gắng giảm thiểu một hàm mục tiêu có dạng chịu một tập các ràng buộc: và . Đây là một vấn đề lập trình tuyến tính theo nghĩa là tuyến tính trong các biến. Không giống như mô hình hồi quy, bạn đang cố gắng tìm một tập hợp (s) thỏa mãn các ràng buộc và giảm thiểu hàm mục tiêu. Điều này cũng sẽ yêu cầu bạn giải các hệ phương trình tuyến tính nhưng ở đây nó sẽ là tuyến tính theo các biến. Các tham số của bạn sẽ không có bất kỳ ảnh hưởng nào đến hệ phương trình tuyến tính đó.A x ≥ b x ≥ 0 $c^Tx$$Ax \geq b$$x\geq0$$x$

Nó đơn giản có nghĩa là trong đó A là các tham số. Các biến X có thể chứa các mối quan hệ phi tuyến; ví dụ: X = [ $Y = A X$$A$$X$ , nhưng Y là một hàm tuyến tính của X .$X = [\alpha\; \alpha \beta\; \beta^2]^T$$Y$$X$

Một mô hình là tuyến tính khi mỗi thuật ngữ là một hằng số hoặc sản phẩm của một tham số và một yếu tố dự đoán. Một phương trình tuyến tính được xây dựng bằng cách thêm các kết quả cho mỗi thuật ngữ. Điều này ràng buộc phương trình chỉ là một dạng cơ bản:

$Response = constant + parameter * predictor + ... + parameter * predictor$

"Tuyến tính trong tham số" trong Hồi quy tuyến tính, có nghĩa là không có tham số nào xuất hiện dưới dạng số mũ, cũng không được nhân hoặc chia cho tham số khác.