Cách tốt nhất để có được một đồng xu gần với công bằng từ các đồng xu thiên vị giống hệt nhau là gì?

21

. giới hạn.)

Giả sử chúng ta có đồng tiền giống hệt nhau với bias . Mục đích là để mô phỏng một lần tung đồng xu duy nhất trong khi giảm thiểu sai lệch. $n$ $\delta=P[Head]-P[Tail]$

Việc mô phỏng phải hiệu quả theo nghĩa sau: Một thuật toán chạy trong thời gian đa thức nhìn vào bit ngẫu nhiên và xuất ra một bit đơn. Độ lệch của thuật toán được định nghĩa làtrong đó kỳ vọng được thực hiện đối với phân phối được xác định bởi bit i sao cho . $n$ $Bias(A)=|E[A=0]-E[A=1]|$ $n$ ${x_1,\ldots,x_n}$ $Prob[x_i=1]-Prob[x_i=0]=\delta$

Thuật toán nào chạy trong thời gian đa thức có ít sai lệch ? $A$ $Bias(A)$

Câu hỏi này có vẻ rất tự nhiên đối với tôi và rất có khả năng nó đã được xem xét trước đó.

Những gì được biết về vấn đề này? Có bất cứ điều gì được biết khi một lớp thuật toán yếu hơn (trong , v.v.) được xem xét không? $AC_0$

cc.complexity-theory circuit-complexity pr.probability

— Hrushikesh
nguồn

15

Tung ra n đồng xu thiên vị và lấy tính chẵn lẻ của các đầu sẽ gần theo cấp số nhân với . $\frac{1}{2}$

[Để chứng minh, hãy xem xét một biến ngẫu nhiên là -1 khi đầu và 1 khi đuôi, thì xác suất có số lượng đầu lẻ chỉ là ] $E\left[\frac{1}{2} + \frac{1}{2}\prod_i X_i\right] = \frac{1}{2} + \frac{1}{2}\delta^n$

Có lẽ điều này cũng tối ưu cho lý do sau. Đặt là bất kỳ hàm thành phần nào của các bit này. Sau đó, và tốt nhất dường như là hàm chẵn lẻ (không phải vậy sao?). $f$ $\text{Bias}(f) = \sum_S \hat{f}(S) \delta^{|S|}$ $f$

Nếu bạn quan tâm đến các chức năng thành phần có độ phức tạp thấp hơn, thì có lẽ một bài viết của Ryan O'Donnell về 'Khuếch đại độ cứng trong NP' sẽ rất phù hợp. Ở đó, ông sử dụng các hàm thành phần đơn điệu để khuếch đại độ cứng và các chức năng hoạt động được đặc trưng bởi độ nhạy nhiễu của chúng.

— Ramprasad
nguồn

Bạn có thể vui lòng giải thích tại sao chẵn lẻ nên là chức năng tốt nhất? (Ngoài ra, không phải là vấn đề không có nhiều triệu chứng, nhưng không nên là trong bản mở rộng Fourier kể từ ?). Cảm ơn con trỏ đến tờ giấy!

d e l t a^{| S |}

$delta^{|S|}$

E [x_{i}] = δ

$E[x_i]=\delta$

— Hrushikesh

Oh tôi xin lỗi, bạn đúng. Biểu thức không chính xác và hiện đã sửa nó. Tôi không có bằng chứng về sự tối ưu (có lẽ nó không tối ưu) nhưng lý do tôi đoán như vậy là nó sẽ đúng nếu biểu thức thay vào đó là vì đây là sự kết hợp lồi.

\sum_{S} \hat{f} (S)^{2} δ^{| S |}

$\sum_S \hat{f}(S)^2 \delta^{|S|}$

— Ramprasad

Có lẽ điều này có thể làm sáng tỏ một số. Bởi Cauchy-Schwarz, chúng tôi biết rằng . Một cách tối ưu hóa sẽ được giảm thiểu giới hạn trên càng nhiều càng tốt và điều đó xảy ra khi hàm là hàm chẵn lẻ và trong trường hợp đó, đại lượng chúng ta quan tâm cũng khớp với giới hạn trên. Tuy nhiên, đó có thể là trường hợp vectơ của các hệ số fourier hoàn toàn trực giao với -vector trong trường hợp LHS chỉ bằng 0! Có các giá trị đặc biệt của mà chúng ta biết các ví dụ như vậy không?

\sum_{S} \hat{f} (S) \leq \sqrt{\sum_{S : \hat{f} (S) \neq 0} δ^{2 | S |}}

$\sum_{S} \hat{f}(S) \leq \sqrt{\sum_{S:\hat{f}(S)\neq 0} \delta^{2|S|}}$

f

$f$

δ

$\delta$

δ

$\delta$

— Ramprasad

Trên thực tế, nếu người ta thực hiện một số hàm đơn điệu không tầm thường , thì tại , kỳ vọng xác suất của là 0 và tại là . Do đó, đối với một số trung gian , nó phải lấy giá trị . Do đó, thật không công bằng khi hy vọng rằng với mọi , hàm chẵn lẻ là tối ưu.

f

$f$

δ = - 1

$\delta = -1$

f (x_{1}, \dots, x_{n}) = 1

$f(x_1,\cdots, x_n) = 1$

δ = 1

$\delta=1$

1

$1$

δ

$\delta$

\frac{1}{2}

$\frac{1}{2}$

δ

$\delta$

— Ramprasad

Bạn có thể giải thích bình luận cuối cùng chi tiết hơn? Bỏ qua các vấn đề về độ phức tạp của f, không phải kết luận của bạn chỉ đúng nếu cho vì tính chẵn lẻ có sai lệch từ đến ?

E [f] = 1 / 2

$E[f]=1/2$

δ \geq \frac{1}{2^{1 / n}}

$\delta \geq \frac{1}{2^{1/n}}$

δ

$\delta$

δ^{n}

$\delta^n$

— Hrushikesh

12

Bạn không nói nếu sự thiên vị được biết hoặc không biết. Điều kỳ diệu của thuật toán của von Neumann là nó hoạt động trong cả hai trường hợp.

Giả sử nó được biết đến. Câu trả lời tốt nhất sau đó phụ thuộc rất nhiều vào các tính năng lý thuyết số của sai lệch. Hãy lấy p = 2/3. Tung đồng xu hai lần và ánh xạ HH thành 0 và TH và HT thành 1, lặp lại thí nghiệm nếu kết quả là TT. Sau đó, 0 và 1 có khả năng như nhau và cơ hội lặp lại chỉ là 1/9 thay vì 5/9 với thuật toán của von Neumann. Hoặc để đặt nó trong các điều khoản của bạn, bạn chỉ thiên vị một trong các kết quả bằng 1/9 nếu giới hạn lặp của bạn là 2.

Đây là tất cả liên quan chặt chẽ với lý thuyết thông tin và lý thuyết mã hóa. Khi p là một phân số có tử số và mẫu số phức tạp hơn, thuật toán tốt nhất sẽ yêu cầu độ dài khối dài hơn 2. Bạn có thể sử dụng đối số tồn tại kiểu Shannon để chỉ ra rằng đối với một thiên vị nhất định, có một quy trình tối ưu như bạn muốn, nhưng chiều dài khối có thể rất lớn.

Peres trong bài viết của mình Lặp lại thủ tục trích xuất bit ngẫu nhiên của Von Neumann chứng minh rằng một phiên bản thuật toán của von Neumann có thể tiếp cận giới hạn Shannon một cách tùy tiện. Rất nhiều công việc trong lĩnh vực này dường như đã được thực hiện bởi các nhà lý thuyết thông tin và thống kê, vì vậy tôi không thể nghĩ ra bất kỳ bài báo nào có độ nghiêng lý thuyết phức tạp sẽ cho bạn câu trả lời trực tiếp cho câu hỏi của bạn.

Có một vấn đề thú vị liên quan đến câu hỏi ngược lại: Nếu bạn có một nguồn bit công bằng, làm thế nào để bạn tạo ra một phân phối thống nhất một cách hiệu quả trên một số tập hợp không có hai công suất? Phiên bản giới hạn lặp lại của vấn đề gần giống với câu hỏi của bạn yêu cầu tối đa hóa entropy (nghĩa là phân phối đồng nhất nhất có thể) với n lần tung đồng xu công bằng.

— Mỗi Vognsen
nguồn

1

Tôi nhận thấy rằng việc tối ưu hóa chủ đề thời gian chạy không thiên vị (những gì bài báo làm) là Lagrange kép để tối ưu hóa chủ đề thiên vị cho thời gian chạy. Vì vậy, tôi nghĩ rằng bài báo thực sự trả lời câu hỏi của bạn!

— Per Vognsen

5

Tôi thích nghĩ về câu hỏi ở dạng tổng quát sau: chúng ta có một cây nhị phân hoàn chỉnh của hight n, trong đó mỗi nút được gán một số thứ tự của các số là 1. Chúng ta có thể phân chia các lá thành hai tập hợp tổng của số họ có gần không?

$p$ $q=1-p$ $p^i q^{n-i}$

$\sum_{i} {\binom{n}{i} parity(x) p^i q^{n-i}} = \sum_{i} {\binom{n}{i} (-p)^i q^{n-i}} = (q-p)^n$

$PSpace$

EDIT "Đây cơ bản là vấn đề mã hóa Shannon." (Cảm ơn Per Vognsen.) KẾT THÚC EDIT

$AC^0$

(Câu trả lời này có thể có lỗi, tôi chưa kiểm tra chi tiết.)

— Kaveh
nguồn

2

"Chúng ta có thể phân chia các lá thành hai bộ st tổng các số chúng gần nhau không?" Đây cơ bản là vấn đề mã hóa Shannon. Thuật toán Shannon-Fano là từ trên xuống và bắt đầu với một tập hợp các yếu tố có trọng số xác suất và yêu cầu một phần tử càng tốt càng tốt. Áp dụng đệ quy này sẽ cung cấp một mã không có tiền tố tích hợp. Thuật toán Huffman là từ dưới lên: nó bắt đầu bằng các cây đơn lẻ và liên tục hợp nhất các cặp với xác suất gần nhất. Nếu bạn biết về mã hóa số học, điều này cũng đúng cho thấy rằng tốt hơn là tạo nhiều bit công bằng cùng một lúc thay vì một bit một lần.

— Per Vognsen

4

Bạn cũng có thể nhận được nhiều bit ngẫu nhiên từ các đồng xu thiên vị, xem thuật toán Derandomizing trên giấy của Gabizon trong Phân phối sản phẩm (http://sites.google.com.vn/site/arielgabizon1/)

3

Câu hỏi liên quan, trang web khác nhau: làm trắng một chuỗi bit ngẫu nhiên

— BCS
nguồn

1

Nếu bạn muốn số lần tung đồng xu chẵn không thiên vị với một đồng xu thiên vị, cách dễ dàng để loại bỏ sự thiên vị là đảo ngược kết quả của mỗi lần tung khác.

— Trưởng khoa J
nguồn

1

Điều này tất nhiên sẽ không dẫn đến một chuỗi ngẫu nhiên thống nhất. Hãy tưởng tượng trường hợp giới hạn khi độ lệch của đồng xu lên 1 - bạn chỉ cần có một chuỗi bit xen kẽ xác định.

— Aaron Roth

Bất kỳ chiến lược nào lặp lại kết quả về mặt sinh học sẽ bảo toàn entropy, vì vậy nó không thể thay đổi phân phối từ entropy không tối đa (sai lệch) thành entropy tối đa (không thiên vị).

— Per Vognsen