Sự khác biệt cơ học giữa các cơ chế giữa các hồi quy tuyến tính với độ trễ và chuỗi thời gian là gì?

Tôi tốt nghiệp ngành kinh doanh và kinh tế, những người hiện đang học thạc sĩ về kỹ thuật dữ liệu. Trong khi nghiên cứu hồi quy tuyến tính (LR) và sau đó phân tích chuỗi thời gian (TS), một câu hỏi xuất hiện trong đầu tôi. Tại sao tạo một phương thức hoàn toàn mới, tức là chuỗi thời gian (ARIMA), thay vì sử dụng nhiều hồi quy tuyến tính và thêm các biến bị trễ cho nó (với thứ tự độ trễ được xác định bằng ACF và PACF)? Vì vậy, giáo viên đề nghị tôi viết một bài luận nhỏ về vấn đề này. Tôi sẽ không đến để tìm kiếm sự giúp đỡ tay không, vì vậy tôi đã nghiên cứu về chủ đề này.

Tôi đã biết rằng khi sử dụng LR, nếu các giả định Gauss-Markov bị vi phạm, hồi quy OLS là không chính xác và điều này xảy ra khi sử dụng dữ liệu chuỗi thời gian (tự động tương quan, v.v.). (một câu hỏi khác về vấn đề này, một giả định của GM là các biến độc lập nên được phân phối bình thường? hay chỉ là biến phụ thuộc có điều kiện cho các biến độc lập?)

Tôi cũng biết rằng khi sử dụng hồi quy độ trễ phân tán, đó là điều tôi nghĩ rằng tôi đang đề xuất ở đây và sử dụng OLS để ước tính các tham số, tính đa hình giữa các biến có thể (rõ ràng) phát sinh, vì vậy ước tính sẽ sai.

Trong một bài viết tương tự về TS và LR ở đây, @IrishStat nói:

... Mô hình hồi quy là trường hợp cụ thể của Mô hình hàm truyền còn được gọi là mô hình hồi quy động hoặc mô hình XARMAX. Điểm nổi bật là nhận dạng mô hình theo chuỗi thời gian tức là sự khác biệt thích hợp, độ trễ thích hợp của X, cấu trúc ARIMA thích hợp, xác định thích hợp của cấu trúc xác định không xác định như Xung, Chuyển dịch cấp độ, Xu hướng thời gian địa phương, Xung theo mùa và Kết hợp các thay đổi trong tham số hoặc phương sai lỗi phải được xem xét.

(Tôi cũng đã đọc bài viết của anh ấy trong Autobox về Box Jenkins vs LR.) Nhưng điều này vẫn không giải quyết được câu hỏi của tôi (hoặc ít nhất nó không làm rõ các cơ chế khác nhau của RL và TS đối với tôi).

Rõ ràng là ngay cả với các biến bị trễ, các vấn đề OLS phát sinh và nó không hiệu quả cũng không đúng, nhưng khi sử dụng khả năng tối đa, các vấn đề này có tồn tại không? Tôi đã đọc rằng ARIMA được ước tính thông qua khả năng tối đa, do đó, nếu ước tính độ trễ của LR bằng ML thay vì OLS, thì nó có mang lại các hệ số "chính xác" không (giả sử rằng chúng tôi cũng bao gồm các thuật ngữ lỗi bị trễ, như MA theo thứ tự q).

Tóm lại, là vấn đề OLS? Là vấn đề được giải quyết áp dụng ML?

Tại sao tạo một phương thức hoàn toàn mới, tức là chuỗi thời gian (ARIMA), thay vì sử dụng nhiều hồi quy tuyến tính và thêm các biến bị trễ cho nó (với thứ tự độ trễ được xác định bằng ACF và PACF)?

Một điểm ngay lập tức là hồi quy tuyến tính chỉ hoạt động với các biến quan sát trong khi ARIMA kết hợp các biến không quan sát được trong phần trung bình di chuyển; do đó, ARIMA linh hoạt hơn, hoặc tổng quát hơn, theo một cách nào đó. Mô hình AR có thể được xem như một mô hình hồi quy tuyến tính và các hệ số của nó có thể được ước tính bằng OLS; trong đó bao gồm độ trễ của biến phụ thuộc được quan sát . Trong khi đó, các mô hình MA hoặc ARMA không phù hợp với khung OLS do một số biến, cụ thể là các thuật ngữ lỗi bị trễ, không quan sát được và do đó, công cụ ước tính OLS là không khả thi.$\hat\beta_{OLS}=(X'X)^{-1}X'y$$X$

một giả định GM là các biến độc lập nên được phân phối bình thường? hoặc chỉ là biến phụ thuộc có điều kiện cho những người độc lập?

Giả định quy tắc đôi khi được gọi cho các lỗi mô hình, không phải cho các biến độc lập. Tuy nhiên, tính quy phạm không bắt buộc đối với tính nhất quán và hiệu quả của công cụ ước tính OLS cũng như đối với định lý Gauss-Markov. Bài viết trên Wikipedia về định lý Gauss-Markov nói rõ rằng "Các lỗi không cần phải bình thường".

tính đa hình giữa các biến có thể (rõ ràng) phát sinh, vì vậy ước tính sẽ sai.

Một mức độ đa hình cao có nghĩa là phương sai tăng cao của công cụ ước tính OLS. Tuy nhiên, công cụ ước tính OLS vẫn là BLUE miễn là tính đa hình không hoàn hảo. Do đó, tuyên bố của bạn không đúng.

Rõ ràng là ngay cả với các biến bị trễ, các vấn đề OLS phát sinh và nó không hiệu quả cũng không đúng, nhưng khi sử dụng khả năng tối đa, các vấn đề này có tồn tại không?

Một mô hình AR có thể được ước tính bằng cả OLS và ML; cả hai phương pháp này đều cho các ước lượng phù hợp. Các mô hình MA và ARMA không thể được ước tính bằng OLS, vì vậy ML là lựa chọn chính; một lần nữa, nó là phù hợp. Tài sản thú vị khác là hiệu quả, và ở đây tôi không hoàn toàn chắc chắn (nhưng rõ ràng thông tin nên có sẵn ở đâu đó vì câu hỏi khá chuẩn). Tôi sẽ thử bình luận về "tính đúng đắn", nhưng tôi không chắc ý của bạn là gì.

Đó là một câu hỏi tuyệt vời. Sự khác biệt thực sự giữa các mô hình ARIMA và hồi quy tuyến tính đa nằm ở cấu trúc lỗi của bạn. Bạn có thể thao tác các biến độc lập trong mô hình hồi quy tuyến tính đa biến để chúng phù hợp với dữ liệu chuỗi thời gian của bạn, đó là những gì @IrishStat đang nói. Tuy nhiên, sau đó, bạn cần kết hợp các lỗi ARIMA vào mô hình hồi quy bội để có được hệ số và kết quả kiểm tra chính xác. Một cuốn sách miễn phí tuyệt vời về điều này là: https://www.otexts.org/fpp/9/1 . Tôi đã liên kết phần thảo luận về việc kết hợp ARIMA và nhiều mô hình hồi quy.

Câu hỏi hay, tôi thực sự đã xây dựng cả hai trong công việc hàng ngày của mình là Nhà khoa học dữ liệu. Các mô hình chuỗi thời gian rất dễ xây dựng (gói dự báo trong R cho phép bạn xây dựng một trong ít hơn 5 giây), giống hoặc chính xác hơn các mô hình hồi quy, v.v. Nói chung, người ta phải luôn xây dựng chuỗi thời gian, sau đó hồi quy. Cũng có những ý nghĩa triết học của chuỗi thời gian, nếu bạn có thể dự đoán mà không biết gì, thì điều đó có nghĩa là gì?

Tôi nhận Dar Dar. 1) "Hồi quy linh hoạt và mạnh mẽ hơn nhiều, tạo ra các mô hình tốt hơn. Điểm này được phát triển ở nhiều điểm trong suốt công việc."

Không, hoàn toàn ngược lại. Các mô hình hồi quy tạo ra nhiều giả định hơn nhiều so với các mô hình chuỗi thời gian. Các giả định càng ít, khả năng chịu được động đất (thay đổi chế độ) càng cao. Hơn nữa, các mô hình chuỗi thời gian đáp ứng nhanh hơn với sự thay đổi đột ngột.

2) "Hồi quy dễ dàng hơn nhiều so với ARIMA, ít nhất là đối với những người đã quen với việc sử dụng hồi quy trong các lĩnh vực khác." Đây là lý luận tròn.

3) "Hồi quy sử dụng thuật toán tính toán" đóng "về cơ bản được đảm bảo để mang lại kết quả nếu có thể, trong khi ARIMA và nhiều phương pháp khác sử dụng thuật toán lặp thường không đạt được giải pháp. Tôi thường thấy phương pháp ARIMA" bị treo "trên dữ liệu đã cho phương pháp hồi quy không có vấn đề."

Hồi quy cho bạn một câu trả lời, nhưng nó có phải là câu trả lời đúng không? Nếu tôi xây dựng mô hình hồi quy tuyến tính và máy học và tất cả chúng đều đi đến cùng một kết luận, điều đó có nghĩa là gì?

Vì vậy, tóm lại, chuỗi hồi quy có và chuỗi thời gian có thể trả lời cùng một câu hỏi và về mặt kỹ thuật, chuỗi thời gian là hồi quy kỹ thuật (mặc dù hồi quy tự động). Các mô hình chuỗi thời gian ít phức tạp hơn và do đó mạnh hơn các mô hình hồi quy. Nếu bạn nghĩ về chuyên môn hóa, thì các mô hình TS chuyên về dự báo trong khi hồi quy chuyên về hiểu biết. Nó sôi sùng sục cho dù bạn muốn giải thích hay dự đoán.

Trong suy nghĩ, sự khác biệt sâu sắc nhất giữa các hàm truyền và hồi quy tuyến tính đa biến (trong cách sử dụng thông thường) nằm ở các mục tiêu của chúng, nhiều hồi quy được định hướng để tìm các yếu tố quyết định quan sát nhân quả chính của biến phụ thuộc trong khi các hàm truyền chỉ muốn dự báo hiệu ứng trên một phụ thuộc biến số của biến thể của một biến ngoại sinh cụ thể ... Tóm lại, hồi quy bội được định hướng để giải thích toàn diện và chuyển hàm để dự báo các hiệu ứng rất cụ thể ...