Các mô hình trạng thái ẩn so với các mô hình không trạng thái cho hồi quy chuỗi thời gian

Đây là một câu hỏi khá chung chung: giả sử tôi muốn xây dựng một mô hình để dự đoán quan sát tiếp theo dựa trên các quan sát trước đó ( có thể là một tham số để tối ưu hóa thực nghiệm). Vì vậy, về cơ bản chúng ta có một cửa sổ trượt của các tính năng đầu vào để dự đoán các quan sát tiếp theo.$N$$N$

Tôi có thể sử dụng cách tiếp cận Mô hình Markov ẩn, tức là Baum-Welch để ước tính mô hình, sau đó Viterbi để dự đoán trạng thái hiện tại dựa trên các quan sát cuối cùng , sau đó dự đoán trạng thái tiếp theo có khả năng nhất dựa trên trạng thái hiện tại, sau đó dự đoán trạng thái tiếp theo quan sát bằng cách sử dụng trạng thái tiếp theo có khả năng nhất và các tham số HMM (hoặc các biến thể, chẳng hạn như tìm phân phối dự đoán của quan sát tiếp theo).$N$

Hoặc tôi có thể sử dụng một cách tiếp cận đơn giản hơn nhiều, sử dụng mô hình không trạng thái (có thể lấy đầu vào của các quan sát trước đó ), ví dụ SVM, hồi quy tuyến tính, spline, cây hồi quy, hàng xóm gần nhất, v.v. Các mô hình như vậy dựa trên việc giảm thiểu một số lỗi dự đoán trên tập huấn luyện và do đó, về mặt khái niệm, đơn giản hơn nhiều so với mô hình dựa trên trạng thái ẩn.$N$

Ai đó có thể chia sẻ kinh nghiệm của cô ấy / anh ấy trong việc đối phó với sự lựa chọn người mẫu như vậy không? Điều gì sẽ nói có lợi cho HMM và điều gì có lợi cho phương pháp hồi quy? Theo trực giác người ta nên lấy mô hình đơn giản hơn có thể để tránh phù hợp quá mức; điều này nói lên sự ủng hộ của cách tiếp cận không trạng thái ... Chúng ta cũng phải xem xét rằng cả hai cách tiếp cận đều có cùng một dữ liệu đầu vào để đào tạo (tôi nghĩ điều này ngụ ý rằng nếu chúng ta không kết hợp kiến ​​thức miền bổ sung trong mô hình hóa mô hình trạng thái ẩn, ví dụ sửa các trạng thái nhất định và xác suất chuyển tiếp, không có lý do tại sao một mô hình trạng thái ẩn sẽ hoạt động tốt hơn). Cuối cùng, người ta có thể chơi với cả hai cách tiếp cận và xem những gì hoạt động tốt hơn trên một bộ xác nhận, nhưng một số phương pháp phỏng đoán dựa trên kinh nghiệm thực tế cũng có thể hữu ích ...

Lưu ý: đối với tôi, điều quan trọng là chỉ dự đoán một số sự kiện nhất định; Tôi thích một mô hình dự đoán tốt một vài sự kiện "thú vị / hiếm" , hơn là một mô hình dự đoán các sự kiện "trung bình / thường xuyên" nhưng những sự kiện thú vị không tốt lắm. Có lẽ điều này có một hàm ý cho sự lựa chọn người mẫu. Cảm ơn.

Tóm lại, tôi nghĩ rằng họ đang làm việc trong mô hình học tập khác nhau.

Mô hình không gian trạng thái (mô hình trạng thái ẩn) và mô hình không trạng thái khác mà bạn đề cập sẽ khám phá mối quan hệ cơ bản của chuỗi thời gian của bạn trong mô hình học tập khác nhau: (1) ước tính khả năng tối đa, (2) suy luận của Bayes, (3) theo kinh nghiệm giảm thiểu rủi ro.

Trong mô hình không gian nhà nước,

Đặt làm trạng thái ẩn, làm vật quan sát, (giả sử không có kiểm soát)y t t > $x_t$$y_t$$t>0$

Bạn giả sử mối quan hệ sau đây cho mô hình:

$P(x_0)$ làm ưu tiên

t ≥ $P(x_t | x_{t-1})$ cho như cách trạng thái của bạn thay đổi (trong HMM, đây là ma trận chuyển tiếp)$t \geq 1$

t ≥ 1 x $P(y_t | x_t)$ cho như cách bạn quan sát (trong HMM, đó có thể là các bản phân phối bình thường có điều kiện trên )$t \geq 1$$x_t$

và chỉ phụ thuộc vào .x $y_t$$x_t$

Khi bạn sử dụng Baum-Welch để ước tính các tham số, trên thực tế bạn đang tìm kiếm ước tính khả năng tối đa của HMM. Nếu bạn sử dụng bộ lọc Kalman, bạn đang giải quyết một trường hợp đặc biệt về vấn đề bộ lọc Bayes (thực tế là một ứng dụng của định lý Bayes ở bước cập nhật):

Bước dự đoán:

$\displaystyle P(x_t|y_{1:t-1}) = \int P(x_t|x_{t-1})P(x_{t-1}|y_{1:t-1}) \, dx_{t-1}$

Bước cập nhật:

$\displaystyle P(x_t|y_{1:t}) = \frac{P(y_t|x_t)P(x_t|y_{1:t-1})}{\int P(y_t|x_t)P(x_t|y_{1:t-1}) \, dx_t}$

Trong bộ lọc Kalman, vì chúng tôi giả sử thống kê nhiễu là Gaussian và mối quan hệ của và là tuyến tính. Do đó, bạn có thể viết và chỉ đơn giản là (mean + variance là đủ để phân phối bình thường) và thuật toán hoạt động như các công thức ma trận .P ( y t $P(x_t|x_{t-1})$$P(y_t|x_t)$$P(x_t|y_{1:t-1})$$P(x_t|y_{1:t})$$x_t$

Mặt khác, đối với mô hình không trạng thái khác mà bạn đã đề cập, như SVM, splines, cây hồi quy, hàng xóm gần nhất. Họ đang cố gắng khám phá mối quan hệ cơ bản của bằng cách giảm thiểu rủi ro theo kinh nghiệm.$(\{y_0,y_1,...,y_{t-1}\}, y_t)$

Để ước tính khả năng tối đa, trước tiên bạn cần tham số phân phối xác suất cơ bản (như HMM, bạn có ma trận chuyển tiếp, có thể quan sát được là cho một số )$(\mu_j,\sigma_j)$$j$

Để áp dụng định lý Bayes, trước tiên bạn cần phải "sửa" một tiên nghiệm theo nghĩa . Nếu , thì mọi suy luận đều dẫn đến vì .$P(A)$P ( A ) = 0 0 P ( A | B ) = P ( B | A ) P ( A $P(A) \neq 0$$P(A)=0$$0$$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$

Để giảm thiểu rủi ro theo kinh nghiệm, tính nhất quán phổ quát được đảm bảo cho bất kỳ phân phối xác suất cơ bản nào nếu kích thước VC của quy tắc học tập không tăng quá nhanh vì số lượng dữ liệu có sẵn$n \to \infty$