Mô phỏng một cái chết công bằng với một cái chết thiên vị

18

Với một khuôn mặt lệch , làm thế nào một số ngẫu nhiên trong phạm vi có thể được tạo ra một cách đồng nhất? Phân phối xác suất của các mặt chết không được biết, tất cả những gì được biết là mỗi mặt có xác suất khác không và phân phối xác suất là giống nhau trên tất cả các cú ném (đặc biệt, các cú ném là độc lập). Đây là sự khái quát rõ ràng của kết quả Công bằng với cái chết không công bằng . $N$ $[1,N]$

Đặt điều này trong thuật ngữ khoa học máy tính, chúng ta có một lời tiên tri đại diện cho các cuộn chết: sao cho là khác không và độc lập với . Chúng tôi đang tìm kiếm một thuật toán xác định được parametrized bởi (tức là có thể thực hiện cuộc gọi đến ) sao cho . Thuật toán phải chấm dứt với xác suất 1, tức là xác suất mà thực hiện nhiều hơn cuộc gọi đến phải hội tụ thành là . $D : \mathbb{N} \to [1,N]$ $p_i = P(D(k)=i)$ $k$ $A$ $D$ $A$ $D$ $P(A()=i) = 1/N$ $A$ $n$ $D$ $0$ $n\to\infty$

Với (mô phỏng một đồng tiền công bằng từ các đồng xu lật với một đồng xu thiên vị), có một thuật toán nổi tiếng: $N=2$

Lặp lại lật lật hai lần, cho đến khi hai cú ném đưa ra kết quả khác biệt ((đầu, đuôi) hoặc (đuôi, đầu)). Nói cách khác, lặp cho cho đến khi $k = 0..\infty$ $D(2k+1) \ne D(2k)$
Trả về 0 nếu cặp lật cuối cùng là (đầu, đuôi) và 1 nếu là (đuôi, đầu). Nói cách khác, trả về trong đó là chỉ số tại đó vòng lặp được kết thúc. $D(2k)$ $k$

Một cách đơn giản để tạo ra một cái chết không thiên vị từ một thiên vị là sử dụng phương pháp không thiên vị lật đồng xu để xây dựng một đồng tiền công bằng, và xây dựng một cái chết công bằng với lấy mẫu từ chối, như trong Không thiên vị các chuỗi . Nhưng điều này có tối ưu không (đối với các giá trị chung của phân phối xác suất)?

Cụ thể, câu hỏi của tôi là: một thuật toán yêu cầu số lượng cuộc gọi dự kiến nhỏ nhất đến nhà tiên tri là gì? Nếu tập hợp các giá trị dự kiến có thể tiếp cận được mở, giới hạn dưới là gì và một lớp thuật toán hội tụ về phía giới hạn dưới này là gì?

Trong trường hợp các họ thuật toán khác nhau là tối ưu cho các phân phối xác suất khác nhau, hãy tập trung vào súc sắc gần như công bằng: Tôi đang tìm kiếm một thuật toán hoặc một nhóm thuật toán tối ưu cho các phân phối sao cho đối với một số . $\forall i, \bigl|p_i - 1/N\bigr| \lt \epsilon$ $\epsilon \gt 0$

probability-theory randomized-algorithms random-number-generator

— Gilles 'SO- ngừng là ác'
nguồn

Lưu ý điều quan trọng là phải xác định cẩn thận tối ưu, vì chẳng hạn, bạn có thể được cung cấp một khuôn hoàn toàn công bằng hoặc một khuôn có , cho hoặc bất kỳ loại nào khác loại chết Một sơ đồ tối ưu cho khuôn đúc công bằng chỉ yêu cầu một cuộn, trong khi đối với ví dụ không công bằng, một sơ đồ tối ưu đòi hỏi nhiều. Hơn nữa, tối cao của tối ưu trên tất cả các khuôn thiên vị có thể có lẽ là không giới hạn. Vì vậy, bạn có thể muốn giới thiệu một tham số và giả sử rằng chẳng hạn.

p_{1} = 1 - ϵ

$p_1 = 1-\epsilon$

p_{i} = ϵ / (N - 1)

$p_i = \epsilon/(N-1)$

i > 1

$i > 1$

max_{i} p_{i} \leq 1 - ϵ

$\max_i p_i \leq 1-\epsilon$

— usul

@usul Tôi không hiểu bình luận của bạn. Có nhiều thuật toán hiệu quả hơn cho một số giá trị của (ví dụ: nếu ), nhưng tôi chỉ yêu cầu các thuật toán không phụ thuộc vào . Điểm của gì?

p_{i}

$p_i$

\forall i, p_{i} = 1 / N

$\forall i, p_i = 1/N$

(p_{i})

$(p_i)$

ϵ

$\epsilon$

— Gilles 'SO- ngừng trở nên xấu xa'

Làm thế nào để bạn đo lường hiệu quả của một thuật toán không phụ thuộc vào ? Có lẽ đối với bất kỳ thuật toán nào như vậy, không có giới hạn trên về số lượng cuộc gọi dự kiến cần thiết, bằng cách lấy ví dụ sai lệch của tôi với . Đây là những gì tôi muốn nói bởi "tối cao của tối ưu ... có lẽ là không giới hạn". Vì vậy, nếu tất cả các thuật toán có thể yêu cầu nhiều cuộn chết tùy ý, làm thế nào để chúng ta quyết định cái nào là tốt nhất?

(p_{i})

$(p_i)$

ϵ \to 0

$\epsilon \to 0$

— usul

@usul Tất nhiên không có giới hạn trên về số lần ném, nhưng tôi đang hỏi về giá trị mong đợi (tức là số lần ném trung bình). Đối với một phân phối nhất định , giá trị mong đợi cho thuật toán tạo ra một đồng tiền công bằng và sử dụng giá trị đó để lấy mẫu từ chối là hữu hạn, phải không? Đúng là kỳ vọng phụ thuộc vào phân phối, vì vậy các thuật toán (họ) khác nhau có thể là tối ưu cho các phân phối khác nhau. Nếu đó là trường hợp, hãy nói rằng tôi quan tâm đến xúc xắc gần như công bằng.

(p_{i})

$(p_i)$

— Gilles 'SO- ngừng trở nên xấu xa'

Không chính xác chính xác câu hỏi, nhưng bạn có sẵn sàng chỉ tìm kiếm một kết quả gần với thống nhất (trong / tổng khoảng cách biến thể) không? Nếu vậy, tùy thuộc vào sự đảm bảo mà bạn yêu cầu từ bản phân phối ban đầu, điều này được nghiên cứu trong một bài báo gần đây (trong bài nộp), dưới tên "công cụ lấy mẫu cho tính đồng nhất" - đặc biệt cho thấy bạn có thể nhận được số lần rút độc lập với để cải thiện từ distance thành distance .

ℓ_{1}

$\ell_1$

N

$N$

ℓ_{1}

$\ell_1$

ε

$\varepsilon$

ε^{'}

$\varepsilon^\prime$

— Clement C.

3

Bài viết sau đây trả lời một biến thể gần gũi của câu hỏi này: Cấu trúc hiệu quả của chuỗi ngẫu nhiên không thiên vị, Elias 1972 .

Câu hỏi dường như là thế này: Được cấp quyền truy cập vào nguồn độc lập thiên vị này, xuất ra một chuỗi các số ngẫu nhiên trong (lưu ý sự khác biệt so với câu hỏi của bạn trong đó chỉ yêu cầu một ký hiệu đầu ra). Theo chiều dài của đầu ra mong muốn đi đến vô cùng, những "hiệu quả" của chương trình này trong bài báo (mà có vẻ như một sự tổng quát tự nhiên của von Neumann) đi vào , có nghĩa là, tôi tin rằng, đó là một đầu vào với entropy được chuyển thành một đầu ra của entropy tiếp cận . $[1,N]$ $1$ $h$ $h$

Câu hỏi có vẻ tốt hơn nhiều khi thực hiện theo cách này, thay vì yêu cầu một chữ số đầu ra duy nhất, bởi vì, ví dụ, nếu chúng ta vẽ mẫu và kết thúc với một đầu ra có nhiều thông tin (ví dụ, tất cả các ký hiệu đầu vào là khác biệt) , sau đó chúng ta có thể sử dụng tất cả thông tin đó để tạo ra nhiều ký hiệu đầu ra, trong khi với câu hỏi như được đặt ra ở đây, bất kỳ thông tin nào được sử dụng để tạo một ký hiệu đầu ra đều bị lãng phí. $N$ $N$

Tôi tin rằng lược đồ liên tục lấy vẽ, nhìn vào chuỗi và ánh xạ nó một số kết quả đầu ra hoặc chuỗi trống. Có lẽ có một cách để cải thiện lược đồ cho câu hỏi của bạn bằng cách xem các tiền tố và dừng lại nếu chúng ta có thông tin "đủ" để xuất ký hiệu? Tôi không biết. $N$

— sử dụng
nguồn

Tôi đã không tìm kiếm công việc tiếp theo hoặc công việc trích dẫn bài báo, vì vậy tôi không biết nhưng có lẽ ai đó đã cải thiện chương trình này, đưa ra một câu hỏi khác, trả lời câu hỏi của bạn, v.v.

— usul

2

Phương pháp bạn mô tả cho khái quát. Chúng tôi sử dụng rằng tất cả các hoán vị của đều có khả năng như nhau ngay cả với một khuôn thiên vị (vì các cuộn là độc lập). Do đó, chúng ta có thể tiếp tục lăn cho đến khi chúng ta thấy một hoán vị như cuộn cuối cùng và xuất ra cuộn cuối cùng. $N=2$ $[1..N]$ $N$

Một phân tích chung là khó khăn; Tuy nhiên, rõ ràng là số lượng cuộn dự kiến sẽ tăng nhanh trong do xác suất nhìn thấy hoán vị ở bất kỳ bước nào là nhỏ (và không độc lập với các bước trước và sau, do đó rất khó). Nó là lớn hơn cho cố định , tuy nhiên, do các thủ tục chấm dứt gần như chắc chắn (ví dụ với xác suất ). $N$ $0$ $N$ $1$

Đối với cố định, chúng ta có thể xây dựng chuỗi Markov trên tập các vectơ Parikh tổng bằng , tóm tắt kết quả của các cuộn cuối cùng và xác định số bước dự kiến cho đến khi chúng ta đạt được lần đầu tiên . Điều này là đủ vì tất cả các hoán vị có chung vectơ Parikh đều có khả năng như nhau; các chuỗi và tính toán đơn giản hơn theo cách này. $N$ $\leq N$ $N$ $(1,\dots,1)$

Giả sử chúng ta đang ở trạng thái với . Sau đó, xác suất đạt được một phần tử (tức là cuộn tiếp theo là ) luôn được đưa ra bởi $v=(v_1,\dots,v_N)$ $\sum_{i=1}^n v_i \leq N$ $i$ $i$

$\qquad\displaystyle \operatorname{Pr}[\text{gain } i] = p_i$ .

Mặt khác, khả năng loại bỏ một yếu tố khỏi lịch sử được đưa ra bởi $i$

$\qquad\displaystyle \operatorname{Pr}_v[\text{drop } i] = \frac{v_i}{N}$

Bất cứ khi nào (và khác) chính xác bởi vì tất cả các hoán vị với Parikh-vector đều có khả năng như nhau. Các xác suất này là độc lập (vì các cuộn là độc lập), vì vậy chúng tôi có thể tính toán các xác suất chuyển tiếp như sau: $\sum_{i=1}^n v_i = N$ $0$ $v$

$\qquad\begin{align*} &\operatorname{Pr}[v \to (v_1,\dots,v_j + 1,\dots,v_N)] \\ &\qquad=\begin{cases} \operatorname{Pr}[\text{gain } j] &, \sum v < N \\ 0 &, \text{ else} \end{cases}\;,\\[3ex] &\operatorname{Pr}[v \to (v_1,\dots,v_i - 1, \dots v_j + 1,\dots,v_N)] \\ &\qquad=\begin{cases} 0 &, \sum v < N \lor v_i=0 \lor v_j=N \\ \operatorname{Pr}_v[\text{drop } i] \cdot \operatorname{Pr}[\text{gain } j] &, \text{ else} \end{cases}\;\text{ and}\\[3ex] &\operatorname{Pr}[v \to v] \\ &\qquad=\begin{cases} 0 &, \sum v < N \\ \sum_{v_i \neq 0} \operatorname{Pr}_v[\text{drop } i] \cdot \operatorname{Pr}[\text{gain } i] &, \text{ else} \end{cases}\;; \end{align*}$

tất cả các xác suất chuyển tiếp khác bằng không. Trạng thái hấp thụ đơn là , vectơ Parikh của tất cả các hoán vị của . $(1,\dots,1)$ $[1..N]$

Với , chuỗi Markov kết quả là $N=2$

Chuỗi Markov cho N = 2
^{[ nguồn ]}

với số bước dự kiến cho đến khi hấp thụ

$\qquad\displaystyle \mathbb{E}\,\text{steps} = 2 p_0 p_1 \cdot 2 + \sum_{i\geq 3} (p_0^{i-1}p_1 + p_1^{i-1}p_0)\cdot i = \frac{1 - p_0 + p_0^2}{p_0-p_0^2}\;,$

sử dụng để đơn giản hóa . Nếu bây giờ, như được đề xuất, đối với một số , sau đó $p_1=1-p_0$ $p_0 = \frac{1}{2} \pm \epsilon$ $\epsilon \in [0,\frac{1}{2})$

$\qquad\displaystyle \mathbb{E}\,\text{steps} = \frac{3 + 4\epsilon^2}{1 - 4\epsilon^2}$ .

Đối với và phân phối đồng đều (trường hợp tốt nhất) tôi đã thực hiện các phép tính với đại số máy tính²; vì không gian trạng thái phát nổ nhanh chóng, các giá trị lớn hơn rất khó đánh giá. Kết quả (làm tròn lên trên) là $N \leq 6$

Bình thường LogPlot
^{Các ô hiển thị là một hàm của ; bên trái một thường xuyên và bên phải một âm mưu logarit. $\mathbb{E}\,\text{steps}$ $N$}

Sự tăng trưởng dường như là theo cấp số nhân nhưng các giá trị quá nhỏ để đưa ra ước tính tốt.

Đối với sự ổn định chống nhiễu loạn của chúng ta có thể xem xét tình huống cho : $p_i$ $N=3$

Số bước dự kiến cho N = 3 và các lựa chọn khác nhau
^{Cốt truyện hiển thị dưới dạng hàm của và ; tự nhiên, . $\mathbb{E}\,\text{steps}$ $p_0$ $p_1$ $p_2 = 1 - p_0 - p_1$}

Giả sử các hình ảnh tương tự cho lớn hơn (nhân bị sập kết quả tính toán biểu tượng ngay cả đối với ), số bước dự kiến dường như khá ổn định cho tất cả trừ các lựa chọn cực đoan nhất (gần như toàn bộ hoặc không có khối lượng nào ở ). $N$ $N=4$ $p_i$

Để so sánh, mô phỏng một đồng xu thiên vị (ví dụ: bằng cách gán kết quả chết cho và càng nhiều càng tốt), sử dụng điều này để mô phỏng một đồng xu công bằng và cuối cùng thực hiện lấy mẫu từ chối bit khôn ngoan $\epsilon$ $0$ $1$

$\qquad\displaystyle 2\lceil \log N \rceil \cdot \frac{3 + 4\epsilon^2}{1 - 4\epsilon^2}$

chết cuộn trong kỳ vọng - có lẽ bạn nên gắn bó với điều đó.

Vì chuỗi đang hấp thụ trong các cạnh được gợi ý bằng màu xám không bao giờ đi qua và không ảnh hưởng đến các tính toán. Tôi bao gồm chúng chỉ đơn thuần cho mục đích hoàn chỉnh và minh họa. $(11)$
Triển khai trong Mathicala 10 ( Notebook , Bare Source ); xin lỗi, đó là những gì tôi biết cho các loại vấn đề này.

— Raphael
nguồn

1

Chỉ cần một nhận xét nhanh về trường hợp . Lấy một số lượng lớn , và mẫu ném chết. Nếu bạn có đầu thì bạn có thể trích xuất các bit . Giả sử die là thiên vị, lượng thông tin trung bình là Để có được ước tính này, hãy sử dụng thực tế là biến nhị thức được tập trung xung quanh cùng với ước tính . Khi càng lớn, chúng ta càng đạt được tốc độ tối ưu của $N = 2$ $m$ $m$ $k$ $\log \binom{m}{k}$ $p$

\sum_{k = 0}^{m} p^{k} (1 - p)^{m - k} (\binom{m}{k}) \log (\binom{m}{k}) \approx m h (p) .

$\sum_{k=0}^m p^k (1-p)^{m-k} \binom{m}{k} \log \binom{m}{k} \approx m h(p).$

k = p m

$k = pm$

\log (\binom{m}{k}) \approx m h (k / m)

$\log \binom{m}{k} \approx mh(k/m)$

m

$m$

h (p)

$h(p)$ mỗi lần ném đồng xu (điều này là tối ưu cho các lý do lý thuyết thông tin, ví dụ như thuộc tính trang bị tiệm cận).

Bạn có thể sử dụng cùng một phương thức cho chung và có thể bạn sẽ nhận được cùng một . Các thuật toán này chỉ tối ưu trong giới hạn và có thể có các thuật toán đạt đến giới hạn nhanh hơn các thuật toán này. Trong thực tế, tôi đã bỏ qua việc tính toán tốc độ hội tụ - nó có thể là một bài tập thú vị. $N$ $H(\vec{p})$

— Yuval Filmus
nguồn

1

Tôi sẽ nguy hiểm câu trả lời sau đây.

Trường hợp cụ thể của 2 bạn đã đề cập ở trên là trường hợp cụ thể của việc mở rộng (trong đó là đầu dò của đầu và đầu đuôi) cung cấp cho bạn thuật ngữ Điều này có nghĩa là bạn có thể nhận cho một trường hợp và cho trường hợp khác. Bạn sẽ cần phải lặp lại lấy mẫu cho đến khi bạn thấy hoặc (head-tail hoặc tail-head) Sử dụng chúng làm mô phỏng, bạn sẽ đưa ra xác suất như nhau. $(p + q)^2$ $p$ $q$ $2pq$ $pq$ $qp$ $pq$ $qp$

Khi bạn có phần mở rộng cung cấp cho bạn thuật ngữ . Trong trường hợp này, bạn làm điều tương tự, lấy mẫu cho đến khi bạn thấy cả 3 kết quả , , theo thứ tự nào đó trong 3 thử nghiệm liên tiếp. $N=3$ $(p + q + r)^3$ $pqr$ $q$ $p$ $r$

Điều tương tự áp dụng cho trường hợp chung. Suy nghĩ cẩn thận, tôi phải nói trường hợp 2 là trường hợp tốt nhất mà người ta có thể giải quyết mọi việc trong bản mở rộng. Khi có 6 chuỗi khác nhau cho và có nhiều thuật ngữ khác trong việc mở rộng. Tôi sẽ cảm thấy khá khó chịu với các điều khoản khác, nơi có nhiều kết quả hơn. $N=3$ $pqr$

.

Thêm:

Điều này khiến tôi suy nghĩ về ý tưởng đơn giản là lấy mẫu rất nhiều để ước tính xác suất của mỗi kết quả của xúc xắc. Trong trường hợp đơn giản nhất của mô hình một lớp không có lớp ẩn (một mô hình đã biết), chúng ta có thể tìm ra một ràng buộc để kết luận rằng ước lượng hội tụ nhanh chóng. Trong thực tế ràng buộc Chernoff cho chúng ta thấy rằng lỗi giảm theo cấp số nhân khi lấy mẫu tăng (tuyến tính).

Bây giờ, một ước tính tốt về xác suất cho mỗi bên của súc sắc đã được biết đến, có nhiều lựa chọn. Một tùy chọn là chúng ta có thể thực hiện việc mở rộng ở trên một lần nữa, nhưng lần này chúng ta có thể sử dụng nhiều thuật ngữ khác trong bản mở rộng có cùng giá trị với (hoặc bất kỳ thuật ngữ nào bạn sử dụng như trình tự dựa trên). Điều này sẽ hiệu quả hơn một chút vì nhiều thuật ngữ trong việc mở rộng sẽ được sử dụng. Nhưng tôi thừa nhận tôi không biết liệu điều này sẽ dẫn đến số lượng cuộc gọi đến nhà tiên tri nhỏ nhất để đảm bảo bất kỳ điều kiện tiên quyết nào (như tham số độ tin cậy), nếu chúng được đưa ra. $\prod_{i=1}^{i=n} p_i$

Tuy nhiên, cách tiếp cận này là một câu trả lời cho hương vị khác nhau của câu hỏi. Câu hỏi yêu cầu đảm bảo hoàn hảo không thiên vị với chi phí lấy mẫu lớn (mặc dù mức độ thăm dò thấp). Cách tiếp cận này chỉ sử dụng lấy mẫu hữu hạn với ràng buộc về tham số độ tin cậy. Vì vậy, tôi không nghĩ rằng cách tiếp cận này phù hợp với câu hỏi này mặc dù nó rất thú vị.

— Thông báoA
nguồn