Một Quy trình Quyết định của Markovian thực sự có liên quan đến việc đi từ tiểu bang này sang tiểu bang khác và chủ yếu được sử dụng để lập kế hoạch và ra quyết định .
Học thuyết
Chỉ cần lặp lại lý thuyết một cách nhanh chóng, MDP là:
MDP = ⟨ S, A , T, R , γ⟩
Trong đó là các trạng thái, hành động, xác suất chuyển tiếp (nghĩa là xác suất đi từ trạng thái này sang trạng thái khác được đưa ra một hành động), phần thưởng (được đưa ra một trạng thái nhất định và có thể hành động) và là một yếu tố giảm giá được sử dụng để làm giảm tầm quan trọng của phần thưởng trong tương lai.SMộtTPr(s′|s,a)Rγ
Vì vậy, để sử dụng nó, bạn cần phải xác định trước:
- Các trạng thái : những điều này có thể đề cập đến ví dụ bản đồ lưới trong robot, hoặc ví dụ cửa mở và cửa đóng .
- Hành động : một tập hợp các hành động cố định, chẳng hạn như đi về phía bắc, nam, đông, v.v. cho robot hoặc mở và đóng cửa.
- Xác suất chuyển tiếp : xác suất đi từ trạng thái này sang trạng thái khác được đưa ra một hành động. Ví dụ, xác suất của một cánh cửa mở là gì nếu hành động được mở . Trong một thế giới hoàn hảo, sau này có thể là 1.0, nhưng nếu là robot, nó có thể đã thất bại trong việc xử lý tay nắm cửa một cách chính xác. Một ví dụ khác trong trường hợp robot di chuyển sẽ là hành động ở phía bắc , trong hầu hết các trường hợp sẽ đưa nó vào ô lưới phía bắc của nó, nhưng trong một số trường hợp có thể đã di chuyển quá nhiều và đến ô tiếp theo chẳng hạn.
- Phần thưởng : chúng được sử dụng để hướng dẫn lập kế hoạch. Trong trường hợp ví dụ về lưới, chúng tôi có thể muốn đi đến một ô nhất định và phần thưởng sẽ cao hơn nếu chúng tôi tiến gần hơn. Trong trường hợp ví dụ về cửa, một cánh cửa mở có thể mang lại phần thưởng cao.
Khi MDP được xác định, một chính sách có thể được học bằng cách thực hiện Lặp lại giá trị hoặc Lặp lại chính sách để tính toán phần thưởng dự kiến cho mỗi trạng thái. Các chính sách sau đó cung cấp cho mỗi nhà nước tốt nhất (cho các model MDP) hành động để làm.
Tóm lại, MDP rất hữu ích khi bạn muốn lập kế hoạch cho một chuỗi hành động hiệu quả, trong đó hành động của bạn không phải lúc nào cũng hiệu quả 100%.
Những câu hỏi của bạn
Nó có thể được sử dụng để dự đoán mọi thứ?
Tôi sẽ gọi nó là lập kế hoạch, không dự đoán như hồi quy chẳng hạn.
Nếu vậy những loại điều?
Xem ví dụ .
Nó có thể tìm thấy các mẫu trong số lượng dữ liệu vô hạn?
MDP được sử dụng để thực hiện Học tập củng cố , để tìm các mẫu bạn cần Học không giám sát . Và không, bạn không thể xử lý một lượng dữ liệu vô hạn. Trên thực tế, sự phức tạp của việc tìm kiếm một chính sách tăng theo cấp số nhân với số lượng trạng thái.|S|
Thuật toán này có thể làm gì cho tôi.
Xem ví dụ .
Ví dụ về các ứng dụng của MDP
- White, DJ (1993) đề cập đến một danh sách lớn các ứng dụng:
- Thu hoạch: bao nhiêu thành viên của một quần thể phải được để lại để sinh sản.
- Nông nghiệp: trồng bao nhiêu dựa trên thời tiết và trạng thái đất.
- Tài nguyên nước: giữ mực nước chính xác tại các hồ chứa.
- Kiểm tra, bảo dưỡng và sửa chữa: khi nào cần thay thế / kiểm tra dựa trên tuổi, tình trạng, v.v.
- Mua và sản xuất: sản xuất bao nhiêu dựa trên nhu cầu.
- Hàng đợi: giảm thời gian chờ đợi.
- ...
- Tài chính: quyết định đầu tư bao nhiêu vào chứng khoán.
- Rô bốt:
Và có khá nhiều mô hình nữa. Một mô hình thú vị hơn nữa là Quá trình ra quyết định Markovian có thể quan sát được một phần trong đó các trạng thái không hoàn toàn có thể nhìn thấy, và thay vào đó, các quan sát được sử dụng để có được ý tưởng về trạng thái hiện tại, nhưng điều này nằm ngoài phạm vi của câu hỏi này.
thông tin thêm
Một quá trình ngẫu nhiên là Markovian (hoặc có thuộc tính Markov) nếu phân phối xác suất có điều kiện của các trạng thái trong tương lai chỉ phụ thuộc vào trạng thái hiện tại, chứ không phụ thuộc vào danh sách các trạng thái trước đó).