Lật đồng xu, quy trình quyết định và giá trị của thông tin

Hãy tưởng tượng thiết lập sau: Bạn có 2 đồng xu, đồng xu A được đảm bảo công bằng và đồng xu B có thể có hoặc không công bằng. Bạn được yêu cầu thực hiện 100 lần lật đồng xu, và mục tiêu của bạn là tối đa hóa số lượng người đứng đầu .

Thông tin trước đây của bạn về coin B là nó đã được lật 3 lần và mang lại 1 đầu. Nếu quy tắc quyết định của bạn chỉ đơn giản dựa trên việc so sánh xác suất dự kiến ​​của người đứng đầu trong 2 đồng tiền, bạn sẽ lật đồng xu 100 lần và được thực hiện với nó. Điều này đúng ngay cả khi sử dụng các ước tính Bayes hợp lý (phương tiện sau) về xác suất, vì bạn không có lý do gì để tin rằng đồng B mang lại nhiều đầu hơn.

Tuy nhiên, điều gì sẽ xảy ra nếu đồng xu B thực sự thiên vị trong đầu? Chắc chắn "những người đứng đầu tiềm năng" mà bạn từ bỏ bằng cách lật đồng xu B một vài lần (và do đó có được thông tin về các thuộc tính thống kê của nó) sẽ có giá trị theo một cách nào đó và do đó sẽ ảnh hưởng đến quyết định của bạn. Làm thế nào "giá trị thông tin" này có thể được mô tả bằng toán học?

Câu hỏi: Làm thế nào để bạn xây dựng một quy tắc quyết định tối ưu về mặt toán học trong kịch bản này?

Tên cướp đa vũ trang

Đây là một trường hợp cụ thể của một vấn đề tên cướp đa vũ trang . Tôi nói một trường hợp cụ thể vì nhìn chung chúng ta không biết bất kỳ xác suất nào của người đứng đầu (trong trường hợp này chúng ta biết một trong những đồng tiền có xác suất 0,5).

Vấn đề bạn nêu ra được gọi là vấn đề nan giải thăm dò và khai thác : bạn có khám phá các lựa chọn khác, hoặc bạn có gắn bó với những gì bạn nghĩ là tốt nhất. Có một giải pháp tối ưu ngay lập tức giả sử bạn biết tất cả các xác suất : chỉ cần chọn đồng tiền có xác suất chiến thắng cao nhất. Vấn đề, như bạn đã ám chỉ, là chúng tôi không chắc chắn về xác suất thực sự là gì.

Có rất nhiều tài liệu về chủ đề này, và có nhiều thuật toán xác định, nhưng vì bạn đã gắn thẻ Bayesian này, tôi muốn nói với bạn về giải pháp yêu thích cá nhân của tôi: Kẻ cướp Bayes !

Giải pháp tên cướp Baysian

Cách tiếp cận Bayes cho vấn đề này là rất tự nhiên. Chúng tôi quan tâm đến việc trả lời " xác suất mà đồng X là tốt hơn so với hai?".

Một tiên nghiệm , giả sử chúng tôi đã quan sát thấy không có đồng xu nào bị lật, chúng tôi không biết xác suất của những người đứng đầu B có thể là gì, biểu thị chưa biết này . Vì vậy, chúng ta nên chỉ định một phân phối thống nhất trước cho xác suất chưa biết này. Ngoài ra, trước (và sau) của chúng tôi cho đồng tiền A tập trung hoàn toàn ở mức 1/2.$p_B$

Như bạn đã nói, chúng tôi quan sát 2 đuôi và 1 đầu từ đồng xu B, chúng tôi cần cập nhật phân phối sau. Giả sử đồng phục trước và lật là Bernoulli coin-flips, hậu thế của chúng tôi là . So sánh các bản phân phối sau hoặc A và B bây giờ:$Beta( 1 + 1, 1 + 2)$

Tìm kiếm một chiến lược tối ưu

Bây giờ chúng ta đã có hậu thế, phải làm sao? Chúng tôi quan tâm đến việc trả lời "Đồng xu xác suất B là tốt nhất của hai loại nào" (Hãy nhớ từ quan điểm Bayes của chúng tôi, mặc dù có một câu trả lời chắc chắn về cái nào tốt hơn, chúng tôi chỉ có thể nói theo xác suất):

Các giải pháp xấp xỉ tối ưu là chọn B với xác suất và A với xác suất 1 - w B . Đề án này tối đa hóa lợi nhuận dự kiến. w B có thể được tính bằng số, vì chúng ta biết phân phối sau, nhưng một cách thú vị là như sau:$w_B$$1 - w_B$$w_B$

1. Sample P_B from the posterior of coin B
2. If P_B > 0.5, choose coin B, else choose coin A.

Đề án này cũng tự cập nhật. Khi chúng tôi quan sát kết quả của việc chọn đồng xu B, chúng tôi cập nhật thông tin sau với thông tin mới này và chọn lại. Bằng cách này, nếu coin B thực sự xấu, chúng tôi sẽ chọn nó ít hơn và trên thực tế coin B thực sự tốt, chúng tôi sẽ chọn nó thường xuyên hơn. Tất nhiên, chúng tôi là người Bayes, do đó chúng tôi không bao giờ có thể hoàn toàn chắc chắn rằng tiền B tốt hơn. Chọn xác suất như thế này là giải pháp tự nhiên nhất cho tình thế tiến thoái lưỡng nan thăm dò.

Đây là một ví dụ cụ thể của Lấy mẫu Thompson . Thông tin thêm và các ứng dụng tuyệt vời cho quảng cáo trực tuyến, có thể được tìm thấy trong tài liệu nghiên cứu của Google và tài liệu nghiên cứu của Yahoo . Tôi yêu những thứ này!

Đây là một trường hợp đơn giản của một vấn đề tên cướp đa vũ trang . Như bạn lưu ý, bạn muốn cân bằng thông tin bạn thu thập bằng cách thử đồng tiền chưa biết khi bạn nghĩ là tối ưu trong thời gian ngắn chống lại việc khai thác kiến ​​thức bạn có.

$1/2$

Nói chung, tôi nghĩ rằng bạn không thể thoát khỏi một vấn đề lập trình động, mặc dù có thể có những trường hợp đặc biệt trong đó chiến lược tối ưu có thể được tìm thấy và kiểm tra đơn giản hơn.

Với đồng phục trước, đây là nơi bạn nên dừng lại:

$(0 ~ \text{heads}, 3 ~\text{tails}), (1 ~\text{head}, 5 ~\text{tails}), (2 ~\text{heads}, 6 ~\text{tails}), (3,7), (4,8),...(31,35), (32,35), (33,36), (34,37), ... (41,44), (42,44), ... (46,48), (47,48), (48,49), (49,50)$

$61.3299$

Tôi đã sử dụng mã Mathicala sau đây để tính toán các cổ phần:

Clear[Equity];
Equity[n_, heads_, tails_] := Equity[n, heads, tails] = 
    If[n == 0, heads, 
       Max[1/2 + Equity[n - 1, heads, tails], 
           (heads + 1)/(heads + tails + 2) Equity[n - 1, heads + 1, tails] + 
           (tails + 1)/(heads + tails + 2) Equity[n - 1, heads, tails + 1]
           ]
      ]

Để so sánh, heuristic lấy mẫu của Thompson (mà Cam Davidson Pilon tuyên bố là tối ưu) cho trung bình 60.2907 đầu, thấp hơn 1.03915. Việc lấy mẫu của Thompson có một vấn đề là đôi khi nó lấy mẫu B khi bạn có đủ thông tin để biết rằng đó không phải là một vụ cá cược tốt và thường lãng phí cơ hội để lấy mẫu B sớm, khi thông tin có giá trị nhất. Trong loại vấn đề này, bạn gần như không bao giờ thờ ơ giữa các lựa chọn của mình và có một chiến lược tối ưu thuần túy.

tp[heads_, tails_] := tp[heads, tails] = 
    Integrate[x^heads (1 - x)^tails / Beta[heads + 1, tails + 1], {x, 0, 1/2}]


Clear[Thompson];
Thompson[flipsLeft_, heads_, tails_] := Thompson[flipsLeft, heads, tails] = 
    If[flipsLeft == 0, heads, 
       Module[{p = tp[heads, tails]}, 
           p (1/2 + Thompson[flipsLeft-1,heads,tails]) + 
           (1-p)((heads+1)/(heads+tails+2)Thompson[flipsLeft-1,heads+1,tails] + 
           ((tails+1)/(heads+tails+2)) Thompson[flipsLeft-1,heads,tails+1])]]