Phân tích thăm dò các lỗi dự báo không gian-thời gian

13

Dữ liệu: Gần đây tôi đã làm việc để phân tích các tính chất ngẫu nhiên của một trường dự báo thời gian của các lỗi dự báo sản xuất điện gió. Chính thức, có thể nói là một quá trình được lập chỉ mục hai lần trong thời gian (với và ) và một lần trong không gian ( ) với là số lần nhìn phía trước (bằng với thứ gì đó xung quanh , được lấy mẫu thường xuyên), là số lần "dự báo" (tức là thời gian dự báo được đưa ra, khoảng 30000 trong trường hợp của tôi, được lấy mẫu thường xuyên) và

{(ε_{t + h | t}^{p})}_{t = = 1 Giáo dục, T; h = = 1, Giáo dục, H, p = = p_{1}, Giáo dục, p_{n}}

$\left (\epsilon^p_{t+h|t} \right )_{t=1\dots,T;\; h=1,\dots,H,\;p=p_1,\dots,p_n}$

t

$t$

h

$h$

p

$p$

H

$H$

24

$24$

T

$T$

n

$n$ là một số vị trí không gian (không có lưới, khoảng 300 trong trường hợp của tôi). Vì đây là một quá trình liên quan đến thời tiết, tôi cũng có rất nhiều dự báo thời tiết, phân tích, đo lường khí tượng có thể được sử dụng.

Câu hỏi: Bạn có thể mô tả cho tôi phân tích thăm dò mà bạn sẽ thực hiện trên loại dữ liệu này để hiểu bản chất của cấu trúc phụ thuộc lẫn nhau (có thể không phải là tuyến tính) của quy trình để đề xuất mô hình hóa tốt cho nó.

— cướp girard
nguồn

Đây là một câu hỏi rất thú vị. Có thể chơi ít nhất với một tập hợp con của dữ liệu ẩn danh? Và các dự báo được tạo ra như thế nào, loại mô hình nào đã được sử dụng?

— mpiktas

1

@mpiktas cảm ơn, bạn có thể trình bày nó đã được tạo bằng mô hình AR phù hợp (một cho mỗi trang trại gió), nó sẽ không thay đổi vấn đề rất nhiều. Xin lỗi, có quá nhiều vấn đề về độ tin cậy với những dữ liệu này, không thể cung cấp cho bạn bất cứ điều gì, thậm chí là ẩn danh ...

— robin girard

6

Dường như với tôi rằng bạn có đủ dữ liệu để mô hình hóa sự phụ thuộc vào không gian và ảnh hưởng khí tượng của cả sai lệch dự báo (nghĩa là xu hướng quá mức / đánh giá thấp một cách có hệ thống [khoảnh khắc đầu tiên]) và phương sai của chúng [khoảnh khắc thứ hai].

Để khám phá sự thiên vị, tôi chỉ cần thực hiện nhiều phân tán, bản đồ nhiệt hoặc sơ đồ hexbin. Để khám phá tính biến thiên, tôi chỉ bình phương các lỗi ban đầu và sau đó lại thực hiện nhiều biểu đồ phân tán, bản đồ nhiệt hoặc sơ đồ hexbin. Điều này tất nhiên không hoàn toàn không có vấn đề gì nếu bạn có nhiều thành kiến, nhưng nó vẫn có thể giúp nhìn thấy các mô hình của sự không đồng nhất ảnh hưởng đồng biến.

Đồng nghiệp của tôi đã làm một TechReport tốt đẹp mà chi tiết một phương pháp rất linh hoạt cho phù hợp các loại mô hình (cũng cho phép mô hình của những khoảnh khắc cao hơn, nếu cần thiết) mà cũng có một tốt R-implementation gamboostLSS dựa trên mboost: Mayr, Andreas; Fenske, Nora; Hofner, Benjamin; Kneib, Thomas và Schmid, Matthias (2010): GAMLSS cho dữ liệu chiều cao - một cách tiếp cận linh hoạt dựa trên việc tăng cường. . Giả sử bạn có quyền truy cập vào các máy có nhiều RAM (bộ dữ liệu của bạn có vẻ LỚN), bạn có thể ước tính tất cả các loại hiệu ứng bán tổng thể (như công cụ ước tính bề mặt mịn cho hiệu ứng không gian hoặc hiệu ứng chung của và $t$ $h$ , spline sản phẩm tenor cho hiệu ứng không gian nhịp độ hoặc tương tác trơn tru của hiệu ứng khí tượng, v.v.) cho các thời điểm khác nhau và thực hiện lựa chọn thuật ngữ cùng một lúc để có được một mô hình phân tích và có thể hiểu được. Hy vọng rằng các thuật ngữ trong mô hình này là đủ để giải thích cấu trúc tự tương quan thời gian của các lỗi dự báo, nhưng có lẽ bạn nên kiểm tra phần dư của các mô hình này để tự tương quan (ví dụ: xem xét một số biến thể và ACF).

— fabian
nguồn

+1 Cảm ơn Fabians, Bạn hoàn toàn đúng, vấn đề không phải là tôi không có đủ dữ liệu. Lưu ý rằng câu hỏi của tôi đặc biệt là về cấu trúc phụ thuộc lẫn nhau. Scatterplots, Heatmap và hexbin cốt truyện là những công cụ tốt nếu chúng được sử dụng cho mục đích tốt. Tôi nghĩ rằng mô hình phụ gia nói chung cũng có thể rất mạnh mẽ, có một bài báo tuyệt vời của Brillinger cung cấp những gợi ý hay về cách sử dụng GAM.

— cướp girard

5

Chúng tôi (Một đồng nghiệp và tôi) cuối cùng đã viết một bài báo về điều đó. Để tóm tắt những điều chúng tôi đã đề xuất hai giải pháp để định lượng và đưa ra một bản tóm tắt thống kê về sự lan truyền (không gian tạm thời) của các lỗi dọc theo Đan Mạch và cùng nhìn về phía trước.

Trong phần đầu tiên, chúng tôi tính toán mối tương quan giữa tất cả các cặp trang trại gió và cho tất cả các cặp nhìn về phía trước (đây là một hàm gồm 4 biến). Khi một cặp được cố định, chúng tôi đã chỉ ra rằng hàm tương quan có cực đại cục bộ cùng với thời gian nhìn trước, chúng tôi đã nói đây là sự lan truyền! Thang đo thời gian liên quan đến một cặp trang trại gió nhất định được đưa ra bởi độ trễ tạm thời cho mức tối đa cục bộ này. Vẽ đồ thị, đối với tất cả các cặp trang trại gió là cực đại tương quan cục bộ, độ trễ tạm thời cho phép thu được điều đó và vectơ không gian tham gia vào các trang trại gió đưa ra phía bên phải của Hình 1.

Hình 1

Điều này có thể được sử dụng để tính toán một vectơ lan truyền toàn cầu, tức là một số loại trung bình không gian của tốc độ lan truyền giữa các cặp. Một phần của điều này được hiển thị ở phía bên trái của Hình 1 và đoán xem sự lan truyền của lỗi là gì ở Đông Đông ở Denamrk (ok đó không phải là một bất ngờ lớn :)). Chúng tôi cũng đã phân tích điều kiện này với các tình huống khí tượng khác nhau để chỉ ra mối quan hệ giữa sự lan truyền và gió (tốc độ, hướng).

$t$ $t$ $R^2$

Hình 2

Trong trường hợp thứ hai, chúng tôi đã quan sát thấy rằng tốc độ lan truyền trung bình theo thời gian có độ phóng đại tương tự như tốc độ thu được với trung bình không gian trong trường hợp đầu tiên. Nếu bạn muốn xem xét công việc này nghiêm túc hơn, bài báo ở đây .

— cướp girard
nguồn

+1 Cảm ơn bạn đã chia sẻ. . Những cái hiệu quả nhất sẽ không phải là các đám mây variogram định hướng được làm mịn truyền thống; thay vào đó, sử dụng các ô hai chiều của mật độ đám mây variogram. Sau đó, bạn có thể xây dựng các biểu đồ chéo của những người đó để khám phá các mối quan hệ tạm thời. Kết quả lan truyền của bạn phải tự động bật ra khỏi một phân tích như vậy.

— whuber

@whuber Cảm ơn bạn đã bình luận, tôi khó tin rằng bạn đã bỏ lỡ hơn 2 hoặc 3 câu hỏi trên trang web này :). Ý tưởng của bạn với variogramm dường như được kết nối (Tôi không sử dụng nhiều vào variogram, tôi thường tin rằng tất cả mọi thứ có thể được tạo thành bằng variogram đều tương đương thực tế với hiệp phương sai ...), tôi sẽ nghĩ về nó.

— cướp girard 17/03 '

Bạn đúng rằng trong nhiều ứng dụng, hiệp phương sai tương đương với variograms. Tuy nhiên, đám mây variogram cung cấp cả phần bổ sung trực quan và khái niệm hoạt động hoàn toàn với các hàm hiệp phương sai dường như không cung cấp - nó giống như nhìn vào các biểu đồ tán xạ thay vì chỉ là ma trận tương quan: đôi khi bạn có thể thấy các mẫu mà các số không tiết lộ rõ ràng .

— whuber