Lasso-ing thứ tự của một độ trễ?

Giả sử tôi có dữ liệu theo chiều dọc có dạng (Tôi có nhiều quan sát, đây chỉ là dạng của một quan sát duy nhất). Tôi quan tâm đến các hạn chế đối với . không bị hạn chế tương đương với việc lấy với .Σ Σ Y j = α j + j - 1 Σ ℓ = 1 φ ℓ j Y j - ℓ + ε j ε j ~ N ( 0 , σ j$\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)$$\Sigma$$\Sigma$

Điều này thường không được thực hiện vì nó yêu cầu ước tính các tham số hiệp phương sai . Một mô hình là "lag- " nếu chúng ta lấy tức là chúng ta chỉ sử dụng trước thuật ngữ để dự đoán từ lịch sử.k Y j = α j + k Σ ℓ = 1 φ ℓ j Y j - ℓ + ε j , k Y $O(J^2)$$k$

Những gì tôi thực sự muốn làm là sử dụng một số loại ý tưởng thu nhỏ để loại bỏ một số , như LASSO. Nhưng vấn đề là, tôi cũng muốn các phương pháp tôi sử dụng để thích mô hình đó là lag- đối với một số ; Tôi muốn xử phạt độ trễ của lệnh cao hơn nhiều so với độ trễ của lệnh thấp hơn. Tôi nghĩ rằng đây là điều mà chúng tôi đặc biệt muốn làm vì các yếu tố dự đoán có mối tương quan cao. k $\phi_{\ell j}$$k$$k$

Một vấn đề khác là nếu (nói) bị thu nhỏ về tôi cũng sẽ thích nếu bị thu hẹp về , tức là độ trễ tương tự được sử dụng trong tất cả các phân phối có điều kiện. 0 φ 36$\phi_{35}$$0$$\phi_{36}$$0$

Tôi có thể suy đoán về điều này, nhưng tôi không muốn phát minh lại bánh xe. Có bất kỳ kỹ thuật LASSO nào được thiết kế để giải quyết vấn đề này không? Tôi có tốt hơn không chỉ làm một cái gì đó hoàn toàn khác, như bao gồm từng bước của các đơn đặt hàng trễ? Vì không gian mô hình của tôi nhỏ, tôi thậm chí có thể sử dụng hình phạt cho vấn đề này?$L_0$

Bạn có thể thực hiện xác nhận chéo nhiều lần từ k = 0 đến mức tối đa là bao nhiêu và vẽ hiệu suất theo k. Vì mô hình đang được thử nghiệm trên dữ liệu mà nó chưa từng thấy trước đây, không có gì đảm bảo các mô hình phức tạp sẽ hoạt động tốt hơn và thực sự bạn sẽ thấy sự suy giảm hiệu suất nếu mô hình trở nên quá phức tạp do quá mức. Cá nhân tôi nghĩ rằng điều này là an toàn và dễ dàng để biện minh hơn là có một yếu tố hình phạt tùy ý, nhưng số dặm của bạn có thể thay đổi.

Tôi cũng không thực sự làm theo cách Lasso ra lệnh trả lời câu hỏi. Có vẻ như quá hạn chế, nó hoàn toàn buộc phải sắp xếp các hệ số. Trong khi câu hỏi ban đầu có thể kết thúc đối với một số dữ liệu có giải pháp trong đó không hoàn toàn giảm với l.$\phi_{lj}$

Các lệnh Lasso dường như những gì bạn đang tìm kiếm: Nó tính toán các hệ số hồi quy regularized như trong tiêu chuẩn Lasso, nhưng tùy thuộc vào các hạn chế bổ sung mà. | β 1 | ≥ | β 2 | . . . ≥ | β j $\beta_{1...j}$$|\beta_1| \geq |\beta_2|...\geq|\beta_j|$

Điều này hoàn thành mục tiêu thứ hai là loại bỏ các hệ số cho độ trễ bậc cao hơn, nhưng hạn chế hơn so với hạn chế duy nhất là thích mô hình độ trễ thấp hơn. Và như những người khác chỉ ra, đây là một hạn chế nặng nề có thể rất khó để biện minh.

Sau khi phân phối, hãy trình bày kết quả của phương pháp trên cả dữ liệu chuỗi thời gian thực và mô phỏng, và các thuật toán chi tiết để tìm ra các hệ số. Kết luận đề cập đến một gói R, nhưng bài báo khá gần đây và một tìm kiếm trên CRAN cho "LASSO đã đặt hàng" xuất hiện trống rỗng, vì vậy tôi nghi ngờ gói này vẫn đang được phát triển.

Bài viết cũng đưa ra một cách tiếp cận khái quát, trong đó hai tham số chính quy "khuyến khích tính gần như đơn điệu". (Xem trang 6.) Nói cách khác, người ta sẽ có thể điều chỉnh các tham số để cho phép đặt hàng thoải mái. Đáng buồn thay, không có ví dụ cũng không so sánh của phương pháp thư giãn được cung cấp. Nhưng, các tác giả viết rằng việc thực hiện thay đổi này là một vấn đề đơn giản để thay thế một thuật toán này bằng một thuật toán khác, vì vậy người ta hy vọng nó sẽ là một phần của gói R sắp tới.

Hình phạt LASSO lồng nhau ( pdf ) có thể được sử dụng nhưng không có gói R nào cho nó.

Tôi biết bạn đã viết nó như một tiền đề, nhưng tôi sẽ không sử dụng LASSO được đặt hàng mà không hoàn toàn chắc chắn rằng đây là điều cần thiết, bởi vì các giả định của LASSO được đặt hàng không phù hợp trực tiếp với dự đoán theo chuỗi thời gian. Để làm ví dụ ngược lại, hãy xem xét trường hợp bạn có thời gian trễ là mười bước thời gian giữa phép đo và mục tiêu. Rõ ràng, các ràng buộc LASSO được đặt hàng không thể xử lý các hiệu ứng như vậy mà không quy kết vô nghĩa cho chín tham số đầu tiên.

$\lambda$$\lambda$$\lambda=0$

$\lambda$