Làm thế nào để mô hình một đồng xu thiên vị với thời gian thay đổi thiên vị?

Các mô hình tiền xu thiên vị thường có một tham số . Một cách để ước tính từ một loạt các lần rút là sử dụng bản beta trước và tính toán phân phối sau với khả năng nhị thức.$\theta = P(\text{Head} | \theta)$$\theta$

Trong cài đặt của tôi, do một số quy trình vật lý kỳ lạ, các thuộc tính đồng xu của tôi đang dần thay đổi và trở thành chức năng của thời gian . Dữ liệu của tôi là một tập hợp các lệnh rút thăm có nghĩa là . Tôi có thể xem xét rằng tôi chỉ có một lần rút cho mỗi trên một lưới thời gian riêng biệt và thường xuyên.$\theta$$t$$\{H,T,H,H,H,T,...\}$$t$

Làm thế nào bạn sẽ mô hình này? Tôi đang nghĩ về một cái gì đó giống như bộ lọc Kalman thích nghi với thực tế rằng biến ẩn là và giữ khả năng nhị thức. Tôi có thể sử dụng gì để mô hình để duy trì khả năng suy luận?$\theta$$P(\theta(t+1)|\theta(t))$

Chỉnh sửa các câu trả lời sau (cảm ơn!) : Tôi muốn mô hình hóa dưới dạng Chuỗi Markov theo thứ tự 1 giống như được thực hiện trong các bộ lọc HMM hoặc Kalman. Giả định duy nhất tôi có thể đưa ra là trơn tru. Tôi có thể viết với một tiếng ồn Gaussian nhỏ (ý tưởng bộ lọc Kalman), nhưng điều này sẽ phá vỡ yêu cầu phải duy trì trong . Theo ý tưởng từ @J Dav, tôi có thể sử dụng hàm probit để ánh xạ đường thẳng thực tới , nhưng tôi có trực giác rằng điều này sẽ đưa ra một giải pháp không phân tích. Một bản phân phối beta với trung bình$\theta(t)$$\theta(t)$$P(\theta(t+1)|\theta(t)) = \theta(t) + \epsilon$$\epsilon$$\theta$$[0,1]$$[0,1]$$\theta(t)$ và một phương sai rộng hơn có thể thực hiện các mẹo.

Tôi đang hỏi câu hỏi này vì tôi có cảm giác rằng vấn đề này đơn giản đến mức nó phải được nghiên cứu trước đây.

Tôi nghi ngờ bạn có thể đưa ra một mô hình với giải pháp phân tích, nhưng suy luận vẫn có thể được thực hiện bằng cách sử dụng các công cụ phù hợp vì cấu trúc phụ thuộc của mô hình của bạn rất đơn giản. Là một nhà nghiên cứu về máy học, tôi thích sử dụng mô hình sau vì suy luận có thể được thực hiện khá hiệu quả bằng cách sử dụng kỹ thuật Tuyên truyền kỳ vọng:

Đặt là kết quả của thử nghiệm thứ . Hãy để chúng tôi xác định tham số thay đổi thời gian$X(t)$$t$

$\eta(t+1) \sim \mathcal{N}(\eta(t), \tau^2)$ cho .$t \geq 0$

Để liên kết với , hãy giới thiệu các biến tiềm ẩn$\eta(t)$$X(t)$

$Y(t) \sim \mathcal{N}(\eta(t), \beta^2)$ ,

và mô hình là$X(t)$

$X(t) = 1$ nếu và nếu không. Bạn thực sự có thể bỏ qua và gạt chúng ra chỉ để nói , (với cdf của tiêu chuẩn bình thường) nhưng việc đưa vào các biến tiềm ẩn làm cho suy luận dễ dàng. Ngoài ra, lưu ý rằng trong tham số ban đầu của bạn .$Y(t) \geq 0$$X(t) = 0$$Y(t)$$\mathbb{P}[X(t)=1] = \Phi(\eta(t)/\beta)$$\Phi$$\theta(t) = \eta(t)/\beta$

Nếu bạn quan tâm đến việc thực hiện thuật toán suy luận, hãy xem bài viết này . Họ sử dụng một mô hình rất giống nhau để bạn có thể dễ dàng điều chỉnh thuật toán. Để hiểu EP, trang sau có thể hữu ích. Nếu bạn quan tâm đến việc theo đuổi phương pháp này cho tôi biết; Tôi có thể cung cấp lời khuyên chi tiết hơn về cách thực hiện thuật toán suy luận.

Để giải thích về nhận xét của tôi, một mô hình như p (t) = p exp (-t) là một mô hình đơn giản và cho phép ước tính p (t) bằng cách ước tính p bằng cách sử dụng ước tính khả năng tối đa. Nhưng xác suất thực sự phân rã theo cấp số nhân. Mô hình này sẽ sai rõ ràng nếu bạn quan sát các khoảng thời gian với tần suất thành công cao hơn so với bạn quan sát ở thời điểm trước và sau này. Hành vi dao động có thể được mô hình hóa thành p (t) = p | sint |. Cả hai mô hình đều rất dễ điều khiển và có thể được giải quyết bằng khả năng tối đa nhưng chúng đưa ra các giải pháp rất khác nhau.$_0$$_0$$_0$

Xác suất của bạn thay đổi theo nhưng như Michael nói, bạn không biết làm thế nào. tuyến tính hay không? Có vẻ như một vấn đề lựa chọn mô hình trong đó xác suất của bạn :$t$$p$

$p=\Phi(g(t,\theta))$ có thể phụ thuộc vào hàm phi tuyến tính cao . chỉ là một hàm giới hạn đảm bảo từ 0 đến 1 xác suất.$g(t,\theta)$$\Phi$

Một cách tiếp cận khám phá đơn giản sẽ là thử một vài thử nghiệm cho với phi tuyến tính khác nhau và thực hiện lựa chọn mô hình dựa trên Tiêu chí thông tin tiêu chuẩn.$\Phi$$g()$$g()$

Để trả lời câu hỏi được chỉnh sửa lại của bạn :

Như bạn đã nói sử dụng probit sẽ chỉ ngụ ý các giải pháp số nhưng thay vào đó bạn có thể sử dụng hàm logistic:

Hàm logistic:$P[\theta(t+1)] = \frac{1}{1+\exp{(\theta(t)+\epsilon)}}$

Được tuyến tính hóa bởi:$\log{\frac{P}{1-P}} = \theta(t)+\epsilon$

Tôi không chắc làm thế nào điều này có thể hoạt động theo phương pháp tiếp cận bộ lọc Kalman, nhưng vẫn tin rằng một đặc tả phi tuyến tính như hoặc nhiều người khác không có thuật ngữ ngẫu nhiên sẽ thực hiện công việc. Như bạn có thể thấy chức năng này là "smoth" theo nghĩa là nó liên tục và khác biệt. Thật không may, việc thêm sẽ tạo ra các bước nhảy về xác suất kết quả là điều bạn không muốn vì vậy lời khuyên của tôi là hãy loại bỏ .$\theta(t+1)=a t^3 +bt^2+ct + d$$\epsilon$$\epsilon$

Đăng nhập xác suất:$P[Coin_{t+1}=H | t] = \frac{1}{1+\exp{(\theta(t))}}$

Bạn đã có ngẫu nhiên trong sự kiện bernoulli (Chuỗi Markov) và bạn đang thêm một nguồn bổ sung của nó do . Do đó, vấn đề của bạn có thể được giải quyết dưới dạng Probit hoặc Logit được ước tính theo khả năng tối đa với là biến giải thích. Tôi cho rằng bạn đồng ý rằng sự khôn ngoan là rất quan trọng. Trừ khi mục tiêu chính của bạn là áp dụng một phương pháp nhất định (Bộ lọc HMM và Kalman) và không đưa ra giải pháp hợp lệ đơn giản nhất cho vấn đề của bạn.$\epsilon$$t$