Kẻ cướp đa vũ trang để phân phối phần thưởng chung

Tôi đang làm việc với một vấn đề tên cướp đa vũ trang nơi chúng tôi không có bất kỳ thông tin nào về việc phân phối phần thưởng.

Tôi đã tìm thấy nhiều bài báo đảm bảo giới hạn hối tiếc cho một bản phân phối có ràng buộc đã biết và cho các bản phân phối chung có hỗ trợ trong [0,1].

Tôi muốn tìm hiểu xem có cách nào để thực hiện tốt trong môi trường mà việc phân phối phần thưởng không có bất kỳ đảm bảo nào về sự hỗ trợ của nó hay không. Tôi đang cố gắng tính giới hạn dung sai không tham số và sử dụng số đó để mở rộng phân phối phần thưởng để tôi có thể sử dụng thuật toán 2 được chỉ định trên bài viết này ( http://jmlr.org/proceedings/ con / v23 / agalal12 / agalal12.pdf ). Có ai nghĩ rằng phương pháp này sẽ làm việc?

Nếu không, bất cứ ai có thể chỉ cho tôi đến đúng chỗ?

Cảm ơn nhiều!

Việc nghiên cứu các thuật toán MAB gắn chặt với các đảm bảo hiệu suất lý thuyết. Thật vậy, sự trỗi dậy của sự quan tâm vào các thuật toán (nhớ lại Thompson lấy mẫu đã được đề xuất vào những năm 30) chỉ thực sự xảy ra kể từ minh giấy 2002 Auer của vọt hối tiếc cho UCB khác nhau và -greedy thuật toán. Như vậy, có rất ít sự quan tâm đến các vấn đề trong đó phân phối phần thưởng không bị ràng buộc vì gần như không có gì có thể nói về mặt lý thuyết.$\mathcal{O}(\log(T))$$\epsilon$

Ngay cả thuật toán lấy mẫu đơn giản của Thompson mà bạn đề cập cũng yêu cầu phần thưởng phân phối của Bernoulli, và thậm chí phải mất 80 năm để chứng minh sự hối tiếc logarit bị ràng buộc!

Tuy nhiên, trong thực tế, trong trường hợp bạn không biết phân phối phần thưởng nhất định, bạn có thể chỉ cần chia tỷ lệ thành bằng cách chia cho số lớn và nếu bạn quan sát phần thưởng trên chỉ cần nhân đôi giá trị, . Không có đảm bảo hối tiếc khi sử dụng phương pháp này mặc dù, nhưng nó thường hoạt động khá tốt.S S S : = 2 $[0,1]$$S$$S$$S:=2S$

Ngoài ra, thuật toán lấy mẫu của Thompson mà bạn đề cập cần dùng thử Bernoulli, vì vậy bạn không thể sử dụng phần thưởng liên tục tùy ý. Bạn có thể phù hợp với phân phối sau Gaussian thay vì Beta, nhưng điều này hơi nhạy cảm với lựa chọn trước của bạn, vì vậy bạn có thể muốn đặt nó ở vị trí rất phẳng. Nếu bạn không muốn chứng minh bất cứ điều gì về việc triển khai của mình thì điều này có thể sẽ hoạt động khá tốt.