Lưu ý rằng đây KHÔNG phải là một nỗ lực để trả lời đầy đủ vấn đề, nhưng để chỉ ra cách khắc phục việc thiếu tài sản Markov cho một trường hợp đặc biệt có thể không áp dụng - một điều quá dài để đưa ra nhận xét.
Thật không may, như bạn đã nhận ra, đây không phải là một quá trình Markov, mà là một quá trình bán Markov. Nếu bạn a) có số nguyên và và b) sẵn sàng mở rộng không gian trạng thái của mình, bạn có thể chuyển đổi quy trình này thành quy trình Markov bằng cách sử dụng phân phối Gamma trở thành phân phối Erlang và biến thiên Erlang là tổng của iid Biến thiên theo hàm mũ có cùng tham số tỷ lệ với biến thiên Erlang gốc.k+k−
Chúng ta có thể mở rộng không gian trạng thái để bao gồm hai biến mới, "trạng thái +" và "- trạng thái", ghi lại "chúng ta sẽ đi bao xa" trong việc tạo ra sự xuất hiện tích cực hoặc tiêu cực tiếp theo. Để cụ thể, giả sử ; lần đến tích cực tiếp theo xảy ra khi lần thứ năm trong năm lần đến theo cấp số nhân liên tiếp xảy ra, do đó "trạng thái +" ghi lại có bao nhiêu lượt đến tích cực đã xảy ra kể từ đầu vào tích cực cuối cùng. Chuỗi các giá trị "+ state" là ; trạng thái chỉ có thể chuyển sang hoặc , trạng thái chỉ có thể chuyển sang hoặc , v.v.k+=5{0,1,2,3,4,0,1,...}001440
Không gian trạng thái của bạn trở thành ghi lại quá trình trong hộp, có bao nhiêu lượt truy cập tích cực đã xảy ra mô đun và có bao nhiêu lượt truy cập âm đã xảy ra mô đun .[BoxID,+,−]k+k−
Bây giờ chúng ta có hai biến thiên ngẫu nhiên - thời gian cho đến khi chuyển đổi "trạng thái" tiếp theo và thời gian cho đến khi chuyển đổi "trạng thái" tiếp theo - cả hai đều được phân phối theo cấp số nhân. Vì tối thiểu của hai biến số mũ độc lập là chính nó là số mũ, thời gian cho đến khi chuyển đổi tiếp theo (thuộc bất kỳ loại nào) là số mũ với tỷ lệ bằng tổng của hai tỷ lệ thành phần ( hoặc tùy thuộc vào cách phân phối Gamma của bạn được tham số hóa). Xác suất mà quá trình chuyển đổi tiếp theo là quá trình chuyển đổi "trạng thái" chỉ là hoặcθ++θ−1/θ++1/θ−θ+/(θ++θ−)1/θ+/(1/θ++1/θ−), một lần nữa tùy thuộc vào cách phân phối Gamma của bạn được tham số hóa. Cho rằng thời gian cho quá trình chuyển đổi tiếp theo hiện có phân phối theo cấp số nhân, bạn có CTMC (Chuỗi thời gian liên tục), có thể được phân tích theo những cách tiêu chuẩn.
Đối với một ví dụ cụ thể, giả sử các lượt đến tích cực xảy ra với tốc độ đơn vị thời gian và các lượt đến tiêu cực xảy ra với tốc độ đơn vị thời gian. Thời gian cho đến khi quá trình chuyển đổi tiếp theo là Số mũ với tỷ lệ đơn vị thời gian và xác suất chuyển đổi được kích hoạt bởi một lần đến tích cực là .0.5/0.25/0.75/0.5/(0.5+0.25)=2/3
Bây giờ bạn có một không gian trạng thái được mở rộng, với mỗi hộp trong sơ đồ ban đầu của bạn có trạng thái bên trong nó, nhưng ít nhất bạn có thuộc tính Markov và có thể tìm thấy xác suất trạng thái ổn định ở trong hộp 3 và trạng thái với "+ state" = , nghĩa là một trong những trạng thái mà bạn có thể trải qua quá trình chuyển đổi dẫn đến kết quả đầu ra tích cực. Kết hợp các xác suất trạng thái ổn định đó với ma trận chuyển tiếp và thời gian trung bình giữa các lần chuyển đổi mang lại cho bạn tỷ lệ trung bình dài hạn để thấy đầu ra tích cực. Bạn cũng có thể tính toán phân phối xác suất mong muốn bằng cách sử dụng xác suất trạng thái ổn định, ma trận chuyển tiếp và thực tế là thời gian giữa các lần chuyển đổi có phân phối mũ với tỷ lệ đã biết.k+k−k+−1
