Phân tích các mẫu lên / xuống trong dữ liệu chuỗi thời gian ngắn

Tôi đã không làm việc rất thường xuyên với dữ liệu chuỗi thời gian, vì vậy tôi đang tìm kiếm một số gợi ý về cách tiến hành tốt nhất với câu hỏi cụ thể này.

Giả sử tôi có dữ liệu sau - được biểu thị dưới đây:

Ở đây có năm trên trục x. Trục y là thước đo "bất bình đẳng", ví dụ như nó có thể là sự bất bình đẳng về thu nhập ở một quốc gia.

Đối với câu hỏi này, tôi quan tâm đến việc hỏi liệu có tính chất tăng / giảm đối với dữ liệu theo năm hay không (vì muốn mô tả tốt hơn). Về bản chất, tôi muốn hỏi liệu sự bất bình đẳng có tăng lên vào năm ngoái so với năm trước hay không, liệu bây giờ có khả năng quay trở lại không? Kích thước của tăng / giảm cũng có thể quan trọng đối với yếu tố.

Tôi đang nghĩ rằng một cái gì đó giống wavelet analysishoặc Fourier analysiscó thể giúp đỡ, mặc dù tôi chưa sử dụng những thứ này trước đây và tôi tin rằng một cỡ mẫu như thế này là quá nhỏ.

Sẽ quan tâm đến bất kỳ ý tưởng / đề xuất cho tôi để theo dõi trên.

BIÊN TẬP:

Đây là dữ liệu cho biểu đồ này:

#   year     value
#1  1956 0.9570912
#2  1957 1.0303563
#3  1958 0.9568302
#4  1959 1.1449074
#5  1960 0.8962963
#6  1961 1.0431552
#7  1962 0.8050077
#8  1963 0.8533181
#9  1964 0.9971713
#10 1965 1.0453083
#11 1966 0.8221328
#12 1967 1.0594876
#13 1968 1.1244195
#14 1969 1.0705498
#15 1970 0.8669457
#16 1971 0.8757319
#17 1972 1.0815189
#18 1973 1.1458959
#19 1974 1.2782848
#20 1975 1.0729718
#21 1976 1.1569416
#22 1977 1.2063673
#23 1978 1.1509700
#24 1979 1.1172020
#25 1980 1.0691429
#26 1981 1.0907407
#27 1982 1.1753854
#28 1983 0.9440187
#29 1984 1.1214175
#30 1985 1.2777778
#31 1986 1.2141739
#32 1987 0.9481722
#33 1988 1.1484652
#34 1989 0.7968458
#35 1990 1.1721074
#36 1991 1.1569523
#37 1992 0.8160300
#38 1993 0.9483291
#39 1994 1.0898612
#40 1995 0.8196819
#41 1996 1.0297017
#42 1997 1.0207769
#43 1998 0.9720285
#44 1999 0.8685848
#45 2000 0.9228595
#46 2001 0.9171540
#47 2002 1.0470085
#48 2003 0.9313437
#49 2004 1.0943982
#50 2005 1.0248419
#51 2006 0.9392917
#52 2007 0.9666248
#53 2008 1.1243693
#54 2009 0.8829184
#55 2010 0.9619517
#56 2011 1.0030864
#57 2012 1.1576998
#58 2013 0.9944945

Ở đây chúng có Rđịnh dạng:

structure(list(year = structure(1:58, .Label = c("1956", "1957", 
"1958", "1959", "1960", "1961", "1962", "1963", "1964", "1965", 
"1966", "1967", "1968", "1969", "1970", "1971", "1972", "1973", 
"1974", "1975", "1976", "1977", "1978", "1979", "1980", "1981", 
"1982", "1983", "1984", "1985", "1986", "1987", "1988", "1989", 
"1990", "1991", "1992", "1993", "1994", "1995", "1996", "1997", 
"1998", "1999", "2000", "2001", "2002", "2003", "2004", "2005", 
"2006", "2007", "2008", "2009", "2010", "2011", "2012", "2013"
), class = "factor"), value = c(0.957091237579043, 1.03035630567276, 
0.956830206830207, 1.14490740740741, 0.896296296296296, 1.04315524964493, 
0.805007684426229, 0.853318117977528, 0.997171336206897, 1.04530832219251, 
0.822132760780104, 1.05948756976154, 1.1244195265602, 1.07054981337927, 
0.866945712836124, 0.875731948296804, 1.081518931763, 1.1458958958959, 
1.27828479729065, 1.07297178130511, 1.15694159981794, 1.20636732623034, 
1.15097001763668, 1.11720201026986, 1.06914289768696, 1.09074074074074, 
1.17538544689082, 0.944018731375053, 1.12141754850088, 1.27777777777778, 
1.21417390277039, 0.948172198172198, 1.14846524606799, 0.796845829569407, 
1.17210737869653, 1.15695226716732, 0.816029959161985, 0.94832907620264, 
1.08986124767836, 0.819681861348528, 1.02970169141241, 1.02077687443541, 
0.972028455959697, 0.868584838281808, 0.922859547859548, 0.917153996101365, 
1.04700854700855, 0.931343718539713, 1.09439821062628, 1.02484191508582, 
0.939291692822766, 0.966624816907303, 1.12436929683306, 0.882918437563246, 
0.961951667980037, 1.00308641975309, 1.15769980506823, 0.994494494494494
)), row.names = c(NA, -58L), class = "data.frame", .Names = c("year", 
"value"))

Nếu sê-ri không tương thích, việc sử dụng các khác biệt sẽ không tương quan tự động. Ngay cả khi loạt phim là tự động khác biệt không chính đáng là không phù hợp. Ý tưởng đơn giản và phương pháp đơn giản thường có tác dụng phụ không mong muốn. Quá trình xác định mô hình (ARIMA) bắt đầu với chuỗi ban đầu và có thể dẫn đến sự khác biệt NHƯNG nó không bao giờ nên bắt đầu bằng sự khác biệt không chính đáng trừ khi có sự biện minh về mặt lý thuyết. Nếu bạn muốn bạn có thể đăng chuỗi thời gian ngắn của mình và tôi sẽ sử dụng nó để giải thích cho bạn cách xác định một mô hình cho chuỗi này.

Sau khi nhận được dữ liệu:

ACF của dữ liệu của bạn ban đầu không (hoặc cuối cùng) chỉ ra bất kỳ quy trình ARIMA nào ở đây CẢ HAI ACF và PACF

và ở đây chỉ là ACF:
Tuy nhiên, dường như có hai sự thay đổi cấp độ trong dữ liệu của bạn ... một vào năm 1972 và một vào năm 1992 .. họ dường như gần như hủy bỏ sự thay đổi cấp độ. Một mô hình hữu ích cũng có thể bao gồm việc kết hợp ba giá trị bất thường ở các giai đoạn 1989,1959 và 1983. Phương trình sau đó
và ở đây

với các thống kê mô hình ở đây:

Thực tế / Phù hợp và Dự báo ở đây với biểu đồ dư ở đây cho thấy sự đầy đủ của mô hình . Điều này được xác nhận bởi acf của phần dư . Cuối cùng sự phù hợp và dự báo tóm tắt những phát hiện .
Tóm lại, chuỗi (có thể là một tỷ lệ) không có bộ nhớ tự động hồi quy đáng kể nhưng có một số cấu trúc xác định rõ ràng (có ý nghĩa thống kê). Tất cả các mô hình đều sai nhưng một số là hữu ích (Hộp GEP).

Sau một số cuộc thảo luận .. Nếu một người có mô hình khác biệt thì người ta sẽ có được mô hình sau ... với THỰC TẾ / FIT và DỰ BÁO . Các dự báo trông tương tự nhau ... hệ số MA hủy bỏ hiệu quả toán tử khác biệt.

Bạn có thể xem sự lên xuống như một chuỗi ngẫu nhiên, được tạo ra bởi một quá trình ngẫu nhiên. Chẳng hạn, giả sử rằng bạn đang xử lý một chuỗi cố định , trong đó là phân phối xác suất như Gaussian, Poisson hoặc bất cứ thứ gì khác. Đây là loạt văn phòng phẩm. Bây giờ, bạn có thể tạo biến mới sao cho và , đây là những thăng trầm của bạn. Chuỗi mới này sẽ tạo thành chuỗi ngẫu nhiên của riêng nó với các thuộc tính thú vị, xem ví dụ V Khil, Elena. "Thuộc tính Markov của các khoảng trống giữa các cực đại cục bộ trong một chuỗi các biến ngẫu nhiên độc lập." (2013).$x_1,x_2,x_3,...,x_n \in f(x)$$f(x)$$y_t$$y_t=1:x_t<x_{t+1}$$y_t=0:x_t\ge x_{t+1}$

Ví dụ, hãy xem ACF và PACF của loạt bài của bạn. Không có gì ở đây. Đây không giống mô hình ARIMA. Có vẻ như chuỗi không tương thích . $x_t$

Điều này có nghĩa là chúng tôi có thể thử áp dụng các kết quả đã biết cho , ví dụ: khoảng cách trung bình giữa hai cặp (lên xuống) (hoặc quay đầu như một số người gọi chúng) là 3. Trong dữ liệu của bạn, hãy đặt đỉnh đầu tiên (lên- xuống) là năm 1957 và lần cuối cùng là năm 2012, với tổng số 16 đỉnh. Vậy, khoảng cách trung bình giữa các đỉnh là 15/55 = 3,67. Chúng tôi biết rằng và với 15 quan sát . Vì vậy, khoảng cách trung bình giữa các đỉnh nằm trong so với trung bình lý thuyết.$y_t$$\sigma=1.108$1,2σ$\sigma_{15}=\sigma/\sqrt{15}=0.29$$1.2\sigma_n$

CẬP NHẬT: theo chu kỳ

Biểu đồ trong câu hỏi của OP dường như cho thấy rằng có một số loại chu kỳ chạy dài. Có một số vấn đề với điều này.

1. Nếu bạn tạo một chuỗi ngẫu nhiên, đôi khi một cái gì đó như một chu kỳ có thể chỉ xuất hiện ngẫu nhiên. Vì vậy, với 58 điểm dữ liệu hoàn toàn là dữ liệu quan sát, không thể tuyên bố một chu kỳ mà không có một loại lý thuyết kinh tế nào đằng sau nó. Không ai sẽ nghiêm túc mà không có lý do kinh tế. Cho rằng bạn chắc chắn cần các biến ngoại sinh, tôi sợ.
2. Kiểm tra bài báo tuyệt vời này: Tổng hợp các nguyên nhân ngẫu nhiên như là nguồn gốc của các quá trình tuần hoàn , Eugen Slutzky, Kinh tế lượng, Tập. 5, số 2 (tháng 4 năm 1937), trang 105-146. Về cơ bản, đôi khi các chu kỳ được gây ra bởi một số loại quy trình MA.
3. Đây có thể là một ảo ảnh. Tôi sử dụng thủ thuật này khá thường xuyên trong các bài thuyết trình. Tôi hiển thị dữ liệu thực tế, sau đó vẽ các đường, vòng tròn hoặc mũi tên để làm rối trí não của khán giả của mình :) Các dòng bổ sung đánh lừa bộ não để xem các xu hướng có thể không có ở đó, hoặc làm cho chúng trông mạnh mẽ hơn nhiều so với thực tế.

Bên cạnh 1: Một điều chúng ta thấy là sự xuất hiện của một xu hướng chu kỳ dài trong dữ liệu. Điều này sẽ không ảnh hưởng đến phân tích hàng năm nhiều như vậy * - vì vậy đối với phân tích rất cơ bản này, tôi sẽ bỏ qua điều đó và coi dữ liệu như thể chúng đồng nhất bên cạnh hiệu ứng mà bạn quan tâm.

* (nó sẽ có xu hướng giảm số lượng chuyển động ngược chiều so với những gì bạn mong đợi với tính đồng nhất - vì vậy nó sẽ có xu hướng giảm sức mạnh của bài kiểm tra này. Chúng tôi có thể cố gắng định lượng tác động đó, nhưng tôi không nghĩ có một nhu cầu mạnh mẽ trừ khi nó dường như đủ lớn để tạo ra sự khác biệt - nếu nó đã có ý nghĩa, việc điều chỉnh một cái gì đó làm cho giá trị p nhỏ hơn một chút sẽ là một sự lãng phí công sức.)

Ngoài 2: Như đã bày tỏ, câu hỏi của bạn dường như liên quan đến sự thay thế một đầu. Tôi sẽ làm việc trên cơ sở rằng đây là những gì bạn muốn.

Hãy bắt đầu với một phân tích đơn giản hướng thẳng vào câu hỏi cơ bản của bạn, dường như nằm dọc theo dòng chữ "là sự gia tăng nhiều khả năng sẽ được theo sau bởi sự giảm?"

Tuy nhiên, nó không đơn giản như lần đầu tiên xuất hiện. Trong một chuỗi ổn định, với dữ liệu hoàn toàn ngẫu nhiên, sự gia tăng có nhiều khả năng được theo sau bởi sự giảm. Lưu ý rằng giả thuyết chúng tôi đang xem xét liên quan đến ba quan sát, có thể được đặt hàng theo sáu cách có thể:

Trong sáu cách đó, 4 liên quan đến một sự thay đổi theo hướng. Vì vậy, một chuỗi hoàn toàn ngẫu nhiên (không phân biệt phân phối) sẽ thấy một sự thay đổi theo hướng 2/3 thời gian.

[Điều này liên quan chặt chẽ đến một bài kiểm tra chạy lên xuống, trong đó bạn quan tâm đến việc có quá nhiều lần chạy cho nó là ngẫu nhiên hay không. Bạn có thể sử dụng thử nghiệm đó thay thế.]

Tôi cho rằng sự quan tâm thực sự của bạn là liệu nó có cao hơn 2/3 ngẫu nhiên hay không hơn là 1/2 như bạn có thể hỏi.

$H_0:$ bộ phim là "ngẫu nhiên"

$H_1:$ một sự thay đổi lên hoặc xuống có nhiều khả năng được theo sau bởi một sự thay đổi theo hướng ngược lại so với những gì bạn thấy với một chuỗi ngẫu nhiên

Thống kê kiểm tra: tỷ lệ ca làm việc theo ca theo hướng ngược lại.

Bởi vì bộ ba của chúng tôi trùng nhau, tôi tin rằng chúng tôi có một số sự phụ thuộc giữa các bộ ba, vì vậy chúng tôi không thể coi đây là nhị thức (chúng tôi có thể chia dữ liệu thành các bộ ba không chồng chéo; điều đó sẽ hoạt động tốt).

Giữ sự phụ thuộc đó trong tâm trí, chúng tôi vẫn có thể tính toán phân phối thống kê kiểm tra, nhưng trong trường hợp này, chúng tôi không cần phải làm như vậy, bởi vì tỷ lệ quan sát được của các bộ ba đảo ngược hướng chỉ nằm dưới con số dự kiến ​​là 2/3 cho một chuỗi ngẫu nhiên và chúng tôi chỉ quan tâm đến nhiều sự đảo ngược hơn thế.

Vì vậy, chúng tôi không cần phải tính toán thêm nữa - không có bằng chứng nào về xu hướng đảo ngược (lên xuống hoặc xuống) nhiều hơn bạn nhận được với một chuỗi ngẫu nhiên.

[Tôi thực sự nghi ngờ chu kỳ nhẹ bị bỏ quên sẽ có đủ tác động để di chuyển tỷ lệ dự kiến ​​xuống bất cứ nơi nào gần đủ để điều này tạo ra sự khác biệt đáng kể.]

Bạn có thể sử dụng một gói được gọi là thay đổi cấu trúc để kiểm tra các ngắt hoặc thay đổi cấp độ trong dữ liệu. Tôi đã có một số thành công trong việc tự động phát hiện sự thay đổi cấp độ cho chuỗi thời gian không theo mùa.

Tôi đã chuyển đổi "giá trị" của bạn thành dữ liệu chuỗi thời gian. và sử dụng mã sau đây để kiểm tra sự thay đổi mức độ hoặc thay đổi điểm hoặc điểm dừng. Gói này cũng có các tính năng hay như kiểm tra chow để kiểm tra chow để kiểm tra phá vỡ cấu trúc:

require(strucchange)
value.ts <- ts(data[,2],frequency = 1, start = (1956))
bp.value <- breakpoints(value.ts ~ 1)
summary(bp.value)

Sau đây là tóm tắt từ chức năng breakpont:

Breakpoints at observation number:

m = 1           36      
m = 2     16    31      
m = 3     16    36    46
m = 4     16 24 36    46
m = 5   8 16 24 36    46
m = 6   8 16 24 33 41 49

Corresponding to breakdates:

m = 1                  1991          
m = 2        1971      1986          
m = 3        1971      1991      2001
m = 4        1971 1979 1991      2001
m = 5   1963 1971 1979 1991      2001
m = 6   1963 1971 1979 1988 1996 2004

Fit:

m   0           1           2           3           4           5           6          
RSS   0.8599316   0.7865981   0.5843395   0.5742085   0.5578739   0.5559645   0.5772778
BIC -71.5402819 -68.5892480 -77.7080112 -70.6015129 -64.1544916 -56.2324540 -45.9296608

Như bạn có thể thấy hàm đã xác định các ngắt có thể có trong dữ liệu của mình và chọn hai ngắt cấu trúc vào năm 1971 và 1986 như được hiển thị trong biểu đồ bên dưới dựa trên tiêu chí BIC. Hàm này cũng cung cấp các điểm ngắt thay thế khác như được liệt kê trong đầu ra ở trên.

Hy vọng điều này hữu ích