Sử dụng các nguyên tắc xử lý tín hiệu để xác định xu hướng


10

Tôi đang đề xuất thử và tìm một xu hướng trong một số dữ liệu dài hạn rất ồn ào. Dữ liệu về cơ bản là các phép đo hàng tuần của một thứ gì đó đã di chuyển khoảng 5 mm trong khoảng thời gian khoảng 8 tháng. Dữ liệu chính xác đến 1mm và rất ồn thường xuyên thay đổi +/- 1 hoặc 2 mm trong một tuần. Chúng tôi chỉ có dữ liệu đến mm gần nhất.

Chúng tôi dự định sử dụng một số xử lý tín hiệu cơ bản với biến đổi Fourier nhanh để tách nhiễu khỏi dữ liệu thô. Giả định cơ bản là nếu chúng ta phản chiếu tập dữ liệu của mình và thêm nó vào cuối tập dữ liệu hiện tại, chúng ta có thể tạo ra bước sóng đầy đủ của dữ liệu và do đó dữ liệu của chúng ta sẽ hiển thị trong một biến đổi phạm vi nhanh và hy vọng chúng ta có thể tách nó ra .

Cho rằng điều này nghe có vẻ hơi mơ hồ đối với tôi, đây có phải là một phương pháp đáng để sử dụng hay là phương pháp phản chiếu và nối thêm dữ liệu của chúng tôi bằng cách nào đó về cơ bản là thiếu sót? Chúng tôi đang xem xét các phương pháp khác như sử dụng bộ lọc thông thấp.


Điều gì về biến đổi Fourier chậm (tiêu chuẩn).

Đây có phải là các phép đo GPS được điều chỉnh khác nhau về chuyển động của tấm không?
whuber

Đó thực sự là chuyển động của một đường hầm trong khi công việc xây dựng đang diễn ra xung quanh nó. Chúng tôi dự kiến ​​phong trào sẽ rất gần theo một đường cong S trong suốt thời gian theo dõi.
Ian Turner

Câu trả lời:


9

Nghe có vẻ khó hiểu với tôi vì ước tính xu hướng sẽ bị sai lệch gần điểm mà bạn ghép trên dữ liệu sai. Một cách tiếp cận khác là hồi quy không đối xứng mượt mà hơn như hoàng thổ hoặc splines.


8

Nếu bạn muốn lọc xu hướng dài hạn bằng cách sử dụng xử lý tín hiệu, tại sao không sử dụng đường truyền thấp?

Điều đơn giản nhất tôi có thể nghĩ đến sẽ là một đường trung bình di chuyển theo cấp số nhân.


Chúng tôi đã xem xét nó. Hoạt động tốt nhưng trong trường hợp này, tiếng ồn dường như vẫn còn quá mạnh và nếu chúng ta thay đổi các tham số để phân phối đủ thì có vẻ như xu hướng đã bị giảm quá nhiều. Có lẽ trong trường hợp này không có giải pháp cho dữ liệu và nó chỉ là một chút quá ồn ào.
Ian Turner

1
Đường trung bình di chuyển theo cấp số nhân là trường hợp đặc biệt của hạt nhân mượt mà hơn (giả sử bạn đã sử dụng MA 2 mặt thay vì 1 mặt). Ước tính tốt hơn đó là khái quát của điều này là hoàng thổ hoặc splines - xem câu trả lời của tôi.
Rob Hyndman

7

Tôi nghĩ rằng bạn có thể nhận được một số biến dạng ở điểm dán vì không phải tất cả các sóng cơ bản sẽ kết nối rất tốt.

Tôi sẽ đề nghị sử dụng một biến đổi Hilbert Huang cho việc này. Chỉ cần phân chia thành các hàm chế độ nội tại và xem phần còn lại là phần dư khi tính toán chúng.


7

Bạn có thể sử dụng biến đổi wavelet rời rạc (nhanh :)) . Gói wavethresh dưới R sẽ làm tất cả công việc. Dù sao, tôi thích giải pháp của @James vì ​​nó đơn giản và dường như đi thẳng vào vấn đề.


Đã đồng ý; wavelet là tuyệt vời để chọn ra hành vi không cố định trong tiếng ồn lớn. Bạn phải cẩn thận với DWT, mặc dù. Nó không phải là bất biến xoay vòng (mặc dù có những sửa đổi của DWT, ví dụ như Percival và Walden 2000), vì vậy bạn có thể mất các chuyển động sắc nét tùy thuộc vào điểm bắt đầu cho dữ liệu của bạn. Ngoài ra, hầu hết các triển khai của DWT đều thực hiện tuần hoàn hóa dữ liệu, do đó bạn vẫn cần kiểm soát điều đó.
Giàu

Nếu trí nhớ của tôi tốt, gói wavethresh chứa từ chối dịch bất biến (tài liệu tham khảo của tôi là Coifman 1995) (Lưu ý rằng bạn đã nói về xoay vòng, phải không chúng ta nói về tín hiệu thời gian?).
cướp girard

bạn đang nói về MODWT (Biến đổi Wavelet rời rạc tối đa)?
RockScience

@fRed: nop, đây là tờ giấy, Coifman và Donoho: citeseerx.ist.psu.edu/viewdoc/
trộm

4

Hầu hết khi tôi nghe "xu hướng dài hạn", tôi nghĩ về xu hướng tăng dài hạn hoặc xu hướng giảm dài hạn , không một xu hướng nào được nắm bắt chính xác bởi biến đổi Fourier. Xu hướng một chiều như vậy được phân tích tốt hơn bằng cách sử dụng hồi quy tuyến tính . (Biến đổi Fourier và biểu đồ thích hợp hơn cho những thứ đi lên xuống).

Hồi quy tuyến tính là dễ dàng để làm trong hầu hết các bảng tính. (a) Hiển thị các phương trình cho các đường hồi quy (b) Tạo các biểu đồ phân tán XY bằng Bảng tính

Hồi quy tuyến tính cố gắng xấp xỉ dữ liệu của bạn bằng một đường thẳng. Các biến đổi Fourier cố gắng xấp xỉ dữ liệu của bạn với một vài sóng hình sin được cộng lại với nhau. Có các kỹ thuật khác ("hồi quy phi tuyến tính") cố gắng xấp xỉ dữ liệu của bạn với đa thức hoặc các hình dạng khác.


2

Biến đổi Fourier giả định trạng thái ổn định tín hiệu rộng và bất biến thời gian tuyến tính (LTI). Mặc dù việc vi phạm các điều kiện này là rất mạnh mẽ, tôi thực sự không nghĩ rằng nó phù hợp để phân tích các xu hướng do giả định về sự ổn định, tức là bạn đang cố gắng đo lường một cái gì đó vi phạm một trong những giả định cơ bản của FFT.

Tôi đồng ý với các áp phích trên; phản chiếu dữ liệu của bạn và thêm dữ liệu được nhân đôi vào cuối chuỗi thời gian của bạn thật tinh ranh. Tôi muốn đề xuất rằng việc phù hợp với mô hình hồi quy tuyến tính với xu hướng thời gian như đã đề cập ở trên có lẽ phù hợp hơn.

Nếu bạn đang tìm cách kiểm tra tính định kỳ, bạn có thể loại bỏ xu hướng bằng cách lọc thông cao và thực hiện phân tích Fourier. Nếu xu hướng vẫn hiển thị sau khi lọc, bạn có thể trừ một đường hồi quy tuyến tính được trang bị khỏi tín hiệu ban đầu trước FFT.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.