Điều kiện tiên quyết toán học và thống kê để hiểu các bộ lọc hạt?

Tôi hiện đang cố gắng tìm hiểu các bộ lọc hạt và khả năng sử dụng chúng trong tài chính và tôi đang gặp khó khăn khá nhiều. Những điều kiện tiên quyết về toán học và thống kê mà tôi nên xem lại (xuất phát từ một nền tảng trong tài chính định lượng) để (i) làm cho những điều cơ bản của bộ lọc hạt có thể truy cập được và (ii) để sau này hiểu chúng một cách kỹ lưỡng? Tôi có kiến ​​thức vững chắc về kinh tế lượng chuỗi thời gian cấp độ sau đại học, ngoại trừ các mô hình không gian nhà nước, mà tôi chưa đề cập đến.

Bất kỳ gợi ý được nhiều đánh giá cao!

Bạn có thể nhận được rất xa chỉ với một vài khái niệm cơ bản. Ký hiệu, sự bùng nổ của các biến, v.v ... có thể làm cho mọi thứ trông phức tạp, nhưng ý tưởng cốt lõi của lọc hạt rất đơn giản.

Một số xác suất cơ bản mà bạn sẽ cần (và có thể đã làm!) Hiểu:

• Tính toán phân phối biên :$P(X = x) = \sum_i P(X = x, Y = y_i)$
• Def. Xác suất có điều kiện:$P(X \mid Y) = \frac{P(X,Y)}{P(Y)}$
• Quy tắc Bayes:$P(X \mid Y) = \frac{P(Y \mid X) P(X)}{P(Y)}$
• Thuật ngữ Bayes: vd. trước, khả năng, hậu thế (+1 @Yair Daon, tôi đồng ý!)

Các bước cơ bản của bộ lọc hạt rất đơn giản:

Đầu tiên:

• Bắt đầu với một số niềm tin về một số trạng thái ẩn. Ví dụ, bạn có thể bắt đầu với niềm tin rằng tên lửa của bạn đang ở trên bệ phóng. (Trong bộ lọc hạt, niềm tin về trạng thái ẩn sẽ được biểu thị bằng một đám mây điểm, mỗi điểm biểu thị một giá trị có thể có của trạng thái ẩn. Mỗi điểm cũng được liên kết với xác suất trạng thái là trạng thái thực.)

Sau đó, bạn lặp lại các bước sau để cập nhật từ thời điểm đến thời điểm :$t$$t+1$

1. Bước dự đoán: Di chuyển về phía trước vị trí của các điểm dựa trên luật chuyển động. (ví dụ: di chuyển các điểm về phía trước dựa trên tốc độ, quỹ đạo hiện tại của tên lửa, v.v.). Điều này thường sẽ mở rộng ra đám mây điểm khi độ không chắc chắn tăng.
2. Bước cập nhật xác suất: Sử dụng dữ liệu, đầu vào cảm biến để cập nhật xác suất liên quan đến các điểm bằng Quy tắc Bayes. Điều này thường sẽ sụp đổ trở lại đám mây điểm khi sự không chắc chắn giảm.
3. Thêm một số bước lọc / thủ thuật cụ thể. Ví dụ. :
   • Thỉnh thoảng lấy mẫu lại điểm của bạn để mỗi điểm có xác suất bằng nhau.
   • Trộn lẫn trong một số tiếng ồn, ngăn bước xác suất của bạn (2) làm sụp đổ đám mây điểm của bạn quá nhiều (trong lọc hạt, điều quan trọng là có ít nhất một điểm với xác suất dương mơ hồ tại vị trí thực của bạn!)

Thí dụ:

Khởi tạo bộ lọc của bạn: - Nhìn vào vị trí của bạn, nơi bạn đang đứng. Bây giờ hãy nhắm mắt lại.

Sau đó lặp lại:

1. Bước một bước về phía trước với đôi mắt nhắm lại.
2. Bước Dự đoán: trao niềm tin quá khứ về nơi bạn đang đứng, dự đoán nơi bạn đang hiện đang đứng cho một bước về phía trước. (Lưu ý cách độ không chắc chắn mở rộng vì bước tiến của bạn với đôi mắt nhắm lại không phải là siêu chính xác!)
3. Bước cập nhật: Sử dụng các cảm biến (ví dụ: cảm giác xung quanh, v.v ...) để cập nhật niềm tin của bạn về nơi bạn đang đứng.

NÓI LẠI!

Các máy móc xác suất cần thiết để thực hiện về cơ bản chỉ là xác suất cơ bản: quy tắc Bayes, tính toán phân phối cận biên, v.v ...

Những ý tưởng có liên quan cao có thể giúp hiểu được bức tranh lớn:

Trong một số ý nghĩa, các bước (1) và (2) là phổ biến cho bất kỳ vấn đề lọc Bayes nào . Một số khái niệm có liên quan cao để có thể đọc về:

• Mô hình Markov ẩn . Một quá trình là Markov nếu quá khứ độc lập với tương lai với trạng thái hiện tại. Hầu như bất kỳ chuỗi thời gian nào được mô hình hóa như một loại quy trình Markov. Một Hidden Markov Model là một nơi mà nhà nước không được trực tiếp quan sát được (ví dụ. Bạn không bao giờ trực tiếp quan sát các vị trí chính xác của tên lửa của bạn và thay vào đó suy ra vị trí của nó thông qua một bộ lọc Bayesian).
• Bộ lọc Kalman . Đây là một thay thế cho lọc hạt thường được sử dụng. Về cơ bản, nó là một bộ lọc Bayes trong đó mọi thứ được coi là Gaussian đa biến.

Trước tiên, bạn nên tìm hiểu về các mô hình không gian trạng thái dễ mã hóa và lọc dạng đóng (ví dụ: bộ lọc kalman, mô hình markov ẩn). Matthew Gunn đúng là bạn có thể đi xa một cách đáng ngạc nhiên với các khái niệm đơn giản, nhưng theo ý kiến ​​khiêm tốn của tôi, bạn nên biến điều này thành mục tiêu trung gian vì:

1.) Nói một cách tương đối, có nhiều phần chuyển động hơn trong các mô hình không gian trạng thái. Khi bạn học SSM hoặc các mô hình markov ẩn, có rất nhiều ký hiệu. Điều này có nghĩa là có nhiều thứ hơn để giữ trong bộ nhớ làm việc của bạn trong khi bạn chơi xung quanh với việc xác minh mọi thứ. Cá nhân, khi tôi tìm hiểu về các bộ lọc Kalman và SSM Gaussian tuyến tính trước tiên, tôi đã suy nghĩ về cơ bản "eh đây chỉ là thuộc tính của các vectơ thông thường đa biến ... Tôi chỉ cần theo dõi ma trận nào là ma trận." Ngoài ra, nếu bạn chuyển đổi giữa các cuốn sách, chúng thường thay đổi ký hiệu.

Sau đó tôi nghĩ về nó như "eh, đây chỉ là quy tắc của Bayes ở mọi thời điểm." Khi bạn nghĩ về nó theo cách này, bạn sẽ hiểu tại sao các gia đình liên hợp lại tốt đẹp, như trong trường hợp của bộ lọc Kalman. Khi bạn mã hóa một mô hình markov ẩn, với không gian trạng thái riêng biệt của nó, bạn sẽ thấy lý do tại sao bạn không phải tính toán bất kỳ khả năng nào và việc lọc / làm mịn rất dễ dàng. (Tôi nghĩ rằng tôi đang đi chệch khỏi biệt ngữ hmm hội nghị ở đây.)

2.) Cắt răng khi mã hóa rất nhiều trong số này sẽ khiến bạn nhận ra định nghĩa chung của mô hình không gian trạng thái là như thế nào. Sẽ sớm thôi bạn sẽ viết ra những mô hình bạn muốn sử dụng, đồng thời xem lý do tại sao bạn không thể. Trước tiên, bạn sẽ thấy rằng bạn không thể viết nó ra dưới một trong hai hình thức mà bạn đã quen. Khi bạn nghĩ về nó nhiều hơn một chút, bạn viết ra quy tắc của Bayes và thấy vấn đề là bạn không có khả năng tính toán một số khả năng cho dữ liệu.

Vì vậy, cuối cùng bạn sẽ thất bại trong việc tính toán các phân phối sau này (làm mịn hoặc lọc các phân phối của các trạng thái). Để giải quyết vấn đề này, có rất nhiều công cụ lọc gần đúng ngoài kia. Lọc hạt chỉ là một trong số họ. Điểm chính của lọc hạt: bạn mô phỏng từ các phân phối này vì bạn không thể tính toán chúng.

Làm thế nào để bạn mô phỏng? Hầu hết các thuật toán chỉ là một số biến thể của lấy mẫu quan trọng. Nhưng nó cũng trở nên phức tạp hơn ở đây. Tôi khuyên bạn nên viết bài hướng dẫn của Doucet và Johansen ( http://www.cs.ubc.ca/~arnaud/doucet_johansen_tutorialPF.pdf ). Nếu bạn hiểu cách lọc biểu mẫu kín hoạt động, họ đưa ra ý tưởng chung về lấy mẫu quan trọng, sau đó là ý tưởng chung về phương pháp monte carlo, và sau đó chỉ cho bạn cách sử dụng hai điều này để bắt đầu với một ví dụ về chuỗi thời gian tài chính tốt đẹp. IMHO, đây là hướng dẫn tốt nhất về lọc hạt mà tôi đã đi qua.

Ngoài việc thêm hai ý tưởng mới vào hỗn hợp (lấy mẫu quan trọng và phương pháp monte carlo), giờ đây còn có nhiều ký hiệu hơn. Một số mật độ bạn đang lấy mẫu từ bây giờ; một số bạn đang đánh giá và khi bạn đánh giá chúng, bạn đang đánh giá tại các mẫu. Kết quả, sau khi bạn mã hóa tất cả, là các mẫu có trọng số, các hạt được coi là. Họ thay đổi sau mỗi lần quan sát mới. Sẽ rất khó để chọn tất cả những thứ này cùng một lúc. Tôi nghĩ đó là một quá trình.

Tôi xin lỗi nếu tôi đi qua như mật mã, hoặc tay. Đây chỉ là dòng thời gian cho sự quen thuộc cá nhân của tôi với chủ đề này. Bài viết của Matthew Gunn có thể trả lời trực tiếp hơn câu hỏi của bạn. Tôi chỉ cần tìm ra rằng tôi sẽ đưa ra phản ứng này.