Làm cách nào để phát hiện sự thay đổi đáng kể trong dữ liệu chuỗi thời gian do thay đổi chính sách của người dùng?

Tôi hy vọng đây là nơi thích hợp để đăng bài này, tôi đã cân nhắc việc đăng nó trên những người hoài nghi, nhưng tôi cho rằng họ chỉ nói rằng nghiên cứu này sai về mặt thống kê. Tôi tò mò về mặt trái của câu hỏi đó là làm thế nào để làm điều đó đúng.

Trên trang web Quantified Self , tác giả đã đăng kết quả của một thí nghiệm về một số liệu đầu ra đo được theo thời gian và so sánh trước và sau khi đột ngột ngừng uống cà phê. Kết quả được đánh giá một cách chủ quan và tác giả tin rằng ông có bằng chứng cho thấy có sự thay đổi trong chuỗi thời gian và nó có liên quan đến sự thay đổi trong chính sách (uống cà phê)

Điều này nhắc nhở tôi là các mô hình của nền kinh tế. Chúng ta chỉ có một nền kinh tế (mà chúng ta quan tâm vào lúc này), vì vậy các nhà kinh tế thường thực hiện về cơ bản n = 1 thí nghiệm. Dữ liệu gần như chắc chắn được tự động hóa theo thời gian vì điều này. Các nhà kinh tế nói chung đang theo dõi, nói rằng Fed, vì nó khởi xướng một chính sách và cố gắng quyết định xem chuỗi thời gian có thay đổi hay không, có khả năng dựa trên chính sách đó.

Thử nghiệm thích hợp để xác định xem chuỗi thời gian có tăng hay giảm dựa trên dữ liệu không? Tôi cần bao nhiêu dữ liệu? Những công cụ tồn tại? Googling ban đầu của tôi đề nghị Mô hình chuỗi thời gian chuyển đổi Markov, nhưng không phải kỹ năng làm việc của tôi làm tôi thất bại trong việc giúp đỡ làm bất cứ điều gì chỉ với tên của kỹ thuật.

Bài báo Box-Tiao được Jason nhắc đến dựa trên sự thay đổi luật đã biết. Câu hỏi ở đây là làm thế nào để phát hiện điểm đúng lúc. Câu trả lời là sử dụng quy trình Tsay để phát hiện các Can thiệp là Xung, Chuyển cấp, Xung theo mùa và / hoặc xu hướng thời gian địa phương.

Nhìn qua một số ghi chú cũ về phá vỡ cấu trúc, tôi có hai trích dẫn sau:

Enders, "Chuỗi thời gian kinh tế học ứng dụng", ấn bản 2, ch. 5.

Enders thảo luận về các can thiệp, chức năng xung, chức năng thay đổi dần dần, chức năng chuyển giao, vv Bài viết này cũng có thể hữu ích:

Hộp, GEP và GC Tiao. 1975. Phân tích can thiệp của ứng dụng với các ứng dụng cho các vấn đề kinh tế và môi trường. Tạp chí của Hiệp hội thống kê Mỹ 70: 70-79.

Bạn không thể sử dụng mô hình điểm thay đổi và sau đó thử xác định điểm thay đổi bằng thuật toán MCMC như Lấy mẫu Gibbs?

Điều này tương đối đơn giản để thực hiện, miễn là bạn có một số phân phối trước cho dữ liệu của mình hoặc phân biệt điều kiện đầy đủ (đối với Gibbs).

Bạn có thể tìm thấy một cái nhìn tổng quan nhanh ở đây

Nếu bạn đang xem xét tất cả các điểm thời gian là điểm thay đổi ứng viên (còn gọi là điểm dừng, hay còn gọi là thay đổi cấu trúc) thì gói strucchange là một lựa chọn rất tốt.

Có vẻ như trong kịch bản cụ thể của bạn, chỉ có một thời điểm ứng cử viên. Trong trường hợp này, một số tùy chọn nhanh chóng xuất hiện trong tâm trí:

1. Kiểm tra T: kiểm tra t về số giờ tập trung mỗi ngày vào khoảng thời gian "trước khi bỏ" so với "sau khi bỏ". Nếu bạn quan tâm đến mối tương quan hàng ngày, bạn có thể từ bỏ một số quan sát để bạn có khoảng thời gian đủ dài để tin rằng những ngày không còn tương quan. Với phương pháp này, bạn sẽ giao dịch mất điện với sự đơn giản.
2. AR: Lắp mô hình AR với một hình nộm: "sau khi bỏ". Nếu dự đoán là quan trọng, thì bạn có một sự thay đổi. Sử dụng AR, sẽ nắm bắt được sự phụ thuộc (có thể) giữa các ngày.

Một vài năm trước, tôi đã nghe một cuộc nói chuyện của một học sinh tốt nghiệp, Stacey Hancock , trong một cuộc họp chương ASA địa phương và đó là về "ước tính phá vỡ cấu trúc" của chuỗi thời gian. Cuộc nói chuyện thực sự thú vị và tôi đã nói chuyện với cô ấy sau đó và cô ấy đang làm việc với Richard Davis (của Brockwell-Davis ), sau đó tại Đại học bang Colorado, hiện tại Columbia. Cuộc nói chuyện là một phần mở rộng của Davis et al. làm việc trong một bài báo JASA năm 2006 có tên là Ước tính phá vỡ cấu trúc cho các mô hình chuỗi thời gian không cố định , được cung cấp miễn phí tại đây .

Davis có một phần mềm thực hiện phương thức mà anh ta gọi là Auto-PARM, mà anh ta đã thực hiện thành một tệp thực thi Windows. Nếu bạn liên lạc với anh ta, bạn có thể có được một bản sao. Tôi có một bản sao và đây là ví dụ đầu ra trên chuỗi thời gian quan sát 1.200:

    ============== RESULTS ===============
  ISLAND           1
    SC=   1910.58314770669
    Breaking point/AR order
           1              1
         351              1
         612              3
    ======================================
 Total time:   5.812500

Vì vậy, chuỗi là AR (1) lúc đầu, tại quan sát 351, quá trình AR (1) thay đổi sang quy trình AR (1) khác (bạn có thể nhận được các tham số), và sau đó tại quan sát 612, quá trình thay đổi thành AR (3) .

Một cài đặt thú vị mà tôi đã thử Auto-PARM là xem xét dữ liệu rút tiền ATM hàng tuần là một phần của cuộc thi NN5 . Tôi nhớ lại thuật toán tìm các phá vỡ cấu trúc vào cuối tháng 11 của một năm nhất định, ví dụ bắt đầu mùa mua sắm ở Mỹ.

Vậy, làm thế nào để sử dụng thuật toán này thông qua các triển khai hiện có? Chà, một lần nữa, bạn có thể liên hệ với Davis và xem liệu bạn có thể thực thi Windows không. Khi tôi ở Rogue Wave Software, tôi đã làm việc với Davis để đưa Auto-PARM vào Thư viện số IMSL. Ngôn ngữ đầu tiên được chuyển đến là Fortran , nơi nó được gọi là Auto_PARM và tôi nghi ngờ Rogue Wave sẽ sớm phát hành một cổng C, với các cổng Python, C # và Java.

Josh nói:

josh: Từ OP "Thử nghiệm thích hợp để xác định xem chuỗi thời gian có tăng hay giảm dựa trên dữ liệu không?". Điều này tôi tin yêu cầu xác định nếu giá trị trung bình của phần dư đã thay đổi không phải là tham số của một số Mô hình ARIMA. Theo tôi, bạn đang đề xuất quy trình phần mềm / giải pháp sai nhưng đó chỉ là ý kiến ​​của tôi. - IrishStat ngày 28 tháng 10 năm 11 lúc 19:08

Giả sử người ta bắt đầu với Mô hình AR (1):

Ở đâu ${E_t}$ là, giả sử, tiếng ồn Gaussian (có nghĩa là không và phương sai $\sigma^2$ Ý nghĩa của loạt bài này.

Ý nghĩa của bộ truyện là $\frac{\gamma}{1-phi}$

Vì vậy, nếu trong một thời gian các tham số $\gamma$ và $\phi$không thay đổi, thì ý nghĩa tổng thể của bộ truyện cũng vậy. Tuy nhiên, bất kỳ thay đổi nào trong số này, nhất thiết là giá trị trung bình của chuỗi sẽ thay đổi. Vì vậy, dưới sự cố định của piecewise, chúng tôi đang tìm kiếm những thay đổi của các tham số này!

Nếu các mô hình cấu trúc được giả định, Auto-PARM là thủ tục để sử dụng.