Chuyển vấn đề máy học sang khung hồi quy

Giả sử tôi có một bảng các biến giải thích $X_{it}$ , với $i = 1 ... N$ , $t = 1 ... T$ , cũng như một vector của các biến phụ thuộc kết quả nhị phân $Y_{iT}$ . Vì vậy, $Y$ chỉ được quan sát tại thời điểm cuối cùng $T$ và không phải ở bất kỳ thời điểm nào trước đó. Trường hợp tổng quát hoàn toàn là có nhiều $X_{ijt}$ cho $j=1...K$ cho mỗi đơn vị $i$ tại mỗi thời điểm $t$, nhưng hãy tập trung vào trường hợp $K=1$ cho ngắn gọn.

Các ứng dụng của các cặp "không cân bằng" $(X, Y)$ với các biến giải thích tương quan theo thời gian là ví dụ (giá cổ phiếu hàng ngày, cổ tức hàng quý), (báo cáo thời tiết hàng ngày, cơn bão hàng năm) hoặc (tính năng vị trí cờ vua sau mỗi lần di chuyển, kết quả thắng / thua tại kết thúc trò chơi).

Tôi đang quan tâm trong (có thể là phi tuyến tính) hồi quy hệ số $\beta_t$ để thực hiện dự đoán của $Y_{it}$ , biết rằng trong dữ liệu huấn luyện, được đưa ra quan sát đầu tiên của $X_{it}$ cho $t < T$ , nó dẫn đến kết quả cuối cùng $Y_{iT}$

$\hat{Y}_{it} = f(\sum_{k=1}^{t} X_{ik} \beta_k), \quad t = 1 ... T$

Đến từ nền tảng kinh tế lượng, tôi chưa thấy mô hình hồi quy được áp dụng cho dữ liệu đó. OTOH, tôi đã thấy các kỹ thuật máy học sau đây được áp dụng cho dữ liệu đó:

1. làm học có giám sát trên toàn bộ tập dữ liệu, ví dụ như giảm thiểu

$\sum_{i,t}\frac{1}{2}(Y_{it} - f(X_{it} \beta_t))^2$

bằng cách đơn giản là ngoại suy / đưa quan sát đến tất cả các điểm trước đó theo thời gian$Y$

$Y_{it} \equiv Y_{iT}, \quad t = 1... T-1$

Điều này cảm thấy "sai" vì nó sẽ không tính đến mối tương quan thời gian giữa các thời điểm khác nhau.

2. làm tăng cường học tập như thời gian-khác biệt với học tham số và chiết khấu tham số λ , và đệ quy giải quyết cho β t qua lan truyền ngược bắt đầu từ t = $\alpha$$\lambda$$\beta_t$$t=T$

$\Delta \beta_{t} = \alpha (\hat{Y}_{t+1} - \hat{Y}_{t}) \sum_{k=1}^{t} \lambda^{t-k} \nabla_{\beta} \hat{Y}_{k}$

với gradient của f ( ) đối với với β .$\nabla_{\beta} \hat{Y}$$f()$$\beta$

Điều này có vẻ hơn "đúng" vì phải mất cấu trúc tạm thời vào tài khoản, nhưng các thông số và λ là loại "ad hoc".$\alpha$$\lambda$

Câu hỏi : có tài liệu về cách ánh xạ các kỹ thuật học tập được giám sát / củng cố ở trên vào khung hồi quy như được sử dụng trong thống kê / kinh tế lượng cổ điển không? Đặc biệt, tôi muốn để có thể ước lượng các tham số trong "một đi" (tức là cho tất cả các t = 1 ... T đồng thời) bằng cách thực hiện (phi tuyến) bình phương nhỏ nhất hoặc maximum-likelihood trên các mô hình như vậy như$\beta_{t}$$t=1...T$

$Y_{iT} = f(\sum_{t=1}^T X_{it} \beta_{t}) + \epsilon_{i}$

Tôi cũng muốn được quan tâm để tìm hiểu liệu học tập khác biệt meta-thông số thời gian và λ có thể được phục hồi từ một công thức tối đa-likelihood.$\alpha$$\lambda$

Mô tả vấn đề không hoàn toàn rõ ràng đối với tôi vì vậy tôi cố gắng đoán một số giả định. Nếu điều này không trả lời câu hỏi của bạn, ít nhất nó có thể giúp làm rõ các vấn đề hơn nữa.

Điều đầu tiên không rõ ràng với tôi là dữ liệu bạn muốn dựa trên dự đoán của mình. Nếu bạn muốn dự đoán dựa trên dữ liệu quan sát được cho đến khi t < T sau đó một cách tiếp cận đệ quy như trong phương pháp của bạn 2. không có ý nghĩa vì đây sẽ sử dụng dữ liệu trong tương lai, tức là X τ với τ > t .$Y_T$$t<T$$X_\tau$$\tau>t$

Thứ hai, bạn không nói rõ các thuộc tính của dự đoán của bạn sẽ là gì. Nói chung, cung cấp thông tin X 1 , ... , X t lúc t < T các điều kiện mong đợi Y t = E [ Y T | X 1 , ... , X t ] là "dự báo tốt nhất" của Y T theo nghĩa L2. Trong trường hợp bạn thực sự muốn dự đoán điều kiện kỳ ​​vọng bình phương nhỏ nhất là phương pháp được lựa chọn để ước tính thực tế.$Y_t$$X_1,\ldots, X_t$$t<T$$Y_t=\text{E}[Y_T \mid X_1,\ldots, X_t]$$Y_T$

Hơn nữa, tôi không hiểu nhận xét của bạn về các mối tương quan không được phản ánh bởi hồi quy dựa trên . Này kết hợp tất cả những gì bạn biết cho đến khi t bao gồm các mối tương quan giữa các quan sát của bạn.$X_1, \ldots, X_t$$t$

Vì vậy, tóm tắt và diễn đạt điều này như một câu trả lời: Nếu bạn muốn đưa ra một dự đoán tối ưu theo nghĩa L2, chỉ dựa trên dữ liệu được quan sát cho đến khi bạn có thể sử dụng hồi quy bình phương tối thiểu.$t<T$

Ưu điểm của sự khác biệt tạm thời là chúng cho phép bạn học hỏi từ các tập không hoàn chỉnh. Vì vậy, các chuỗi mà bạn chưa đến Y cuối cùng vẫn có thể được sử dụng để phù hợp với mô hình; ước tính tiếp theo được sử dụng thay thế. Hiệu quả tương tự như việc ẩn dữ liệu ẩn; ngầm định bạn đang đưa ra phần còn lại của chuỗi theo mô hình hiện tại của bạn.
Các mô hình khác biệt tạm thời thường được đào tạo bởi gốc dốc ngẫu nhiên . kiểm soát tốc độ học tập. Quá cao và phương pháp sẽ phân kỳ. Quá thấp và hội tụ đến mức tối ưu cục bộ sẽ rất chậm. Nhưng sự hội tụ phải luôn luôn là cùng một mô hình. Ở đây, $\alpha$
$\gamma$kiểm soát nỗ lực tương đối được đưa ra cho các dự đoán tùy thuộc vào khoảng cách từ cuối chuỗi. Vì các chuỗi này có độ dài hữu hạn, bạn có thể đặt giá trị này thành , để đặt cùng trọng số cho tất cả các ước tính. $\gamma=1$