Có tồn tại bất kỳ phân phối đơn biến mà chúng tôi không thể lấy mẫu từ?

Chúng tôi có rất nhiều phương pháp để tạo ngẫu nhiên từ các phân phối đơn biến (biến đổi nghịch đảo, từ chối chấp nhận, Metropolis-Hastings, v.v.) và dường như chúng tôi có thể lấy mẫu từ bất kỳ phân phối hợp lệ nào - điều đó có đúng không?

Bạn có thể cung cấp bất kỳ ví dụ về phân phối đơn biến mà không thể tạo ngẫu nhiên từ không? Tôi đoán ví dụ đó là không thể tồn tại (?), Vì vậy, giả sử rằng "không thể", chúng tôi cũng có nghĩa là các trường hợp rất tốn kém về mặt tính toán, ví dụ như cần mô phỏng vũ lực như vẽ một lượng lớn mẫu để chấp nhận vài trong số họ.

Nếu ví dụ như vậy không tồn tại, chúng ta thực sự có thể chứng minh rằng chúng ta có thể tạo ra các lần rút ngẫu nhiên từ bất kỳ phân phối hợp lệ nào không? Tôi chỉ đơn giản là tò mò nếu có tồn tại ví dụ cho việc này.

Nếu bạn biết hàm phân phối tích lũy, , thì bạn có thể đảo ngược hàm đó, cho dù là phân tích hay bằng số và sử dụng phương pháp lấy mẫu biến đổi nghịch đảo để tạo các mẫu ngẫu nhiên https://en.wikipedia.org/wiki/Inverse_transform_sampling .$F(x)$

Xác định . Điều này sẽ xử lý bất kỳ phân phối, cho dù liên tục, rời rạc, hoặc bất kỳ sự kết hợp. Điều này luôn có thể được giải quyết bằng số, và có lẽ là phân tích. Đặt U là một mẫu từ một biến ngẫu nhiên được phân phối là Đồng nhất [0,1], nghĩa là từ một bộ tạo số ngẫu nhiên [0,1] thống nhất. Thì F - 1 ( U ) , được định nghĩa như trên, là một mẫu ngẫu nhiên từ một biến ngẫu nhiên có phân phối F ( x ) . $F^{-1}(y) = inf(x:F(x) \ge y)$$F^{-1}(U)$$F(x)$

Đây có thể không phải là cách nhanh nhất để tạo các mẫu ngẫu nhiên, nhưng đó là một cách, giả sử rằng F (x) được biết đến.

Nếu F (x) không được biết đến, thì đó là một câu chuyện khác.

Khi một phân phối chỉ được xác định bởi chức năng của nó tạo ra khoảnh khắc hoặc bằng chức năng đặc trưng của nó Φ ( t ) = E [ exp { i t X } ] , nó là hiếm để tìm cách tạo ra từ những phân phối đó.$\phi(t)=\mathbb{E}[\exp\{tX\}]$$\Phi(t)=\mathbb{E}[\exp\{itX\}]$

Một ví dụ có liên quan được tạo từ các phân phối ổn định $\alpha$ , không có dạng đã biết về mật độ hoặc cdf, không có hàm tạo mô men, mà là hàm đặc trưng dạng đóng.

Trong thống kê Bayes, các bản phân phối sau liên quan đến khả năng có thể thu được hoặc đơn giản là các bộ dữ liệu quá lớn để phù hợp với một máy tính có thể được xem là không thể mô phỏng (chính xác).

Giả sử bạn đề cập đến phân phối liên tục. Bằng việc sử dụng không thể thiếu khả năng chuyển đổi , bạn có thể mô phỏng từ bất kỳ phân phối đơn biến bằng cách mô phỏng u ~ ( 0 , 1 ) và sau đó dùng F - 1 ( u ) . Vì vậy, chúng ta có thể mô phỏng một bộ đồng phục, sau đó phần đó được thực hiện. Điều duy nhất có thể loại trừ mô phỏng từ F là bạn không thể tính toán nghịch đảo F - 1 của nó , nhưng điều này phải liên quan đến những khó khăn tính toán, hơn là một cái gì đó về mặt lý thuyết.$F$$u \sim (0,1)$$F^{-1}(u)$$F$$F^{-1}$

Bây giờ câu hỏi của bạn phát triển thành "khó mẫu từ", chỉ cần mang bất kỳ mô hình với một khả năng khó , chuyển nhượng một phân phối trước khi mô hình thông số , và giả sử rằng bạn quan tâm trong phân phối phía sau biên của một trong các mục θ j . Điều này ngụ ý rằng bạn cần lấy mẫu từ phía sau, điều này có thể gây ra do tính hấp dẫn của khả năng.${\bf \theta} = (\theta_1,...,\theta_d)$$\theta_j$

Có một số phương pháp để lấy mẫu từ phía sau này trong một số trường hợp, nhưng không có phương pháp chung chính xác nào tồn tại vào lúc này.

Không chắc đây có thực sự là một câu trả lời không ... Tôi đoán (nhưng không biết) rằng người ta không thể lấy mẫu từ một phân phối phụ gia hữu hạn. Một ví dụ sẽ là phân phối đồng đều trên các số hữu tỷ, chỉ có thể tồn tại dưới dạng phân phối phụ gia hữu hạn. Để thấy điều này, hãy là một phép liệt kê các số hữu tỷ. Vì sự phân bố đồng đều, P ( X = q i ) = 0 cho bất kỳ cá nhân tôi , vì vậy Σ ∞ i = 1 P ( X = q i$(q_i)_{i=1}^\infty$$P(X=q_i)=0$$i$ nhưng P ( X ∈ Q ) = 1 .$\sum_{i=1}^\infty P(X=q_i)=0$$P(X\in \mathbb{Q})=1$

Nếu câu trả lời này có vẻ kỳ lạ và thậm chí là không thích hợp, nhìn vào ví dụ thực tế hơn mà đôi khi được sử dụng trong Bayesian suy luận: Một phân phối trước khi thống nhất về một tham số thực, chẳng hạn như giá trị trung bình của phân phối chuẩn, nói . Điều đó có thể được mô hình hóa bởi một "mật độ" (không phải là mật độ xác suất thực) mà là hệt một: π ( μ ) = 1 . Một ưu tiên như vậy có thể được sử dụng trong phân tích Bayes (và đôi khi được sử dụng, xem cuốn sách kinh điển của Box & Tiao), nhưng chúng tôi không thể lấy mẫu từ nó. Và, phân phối xác suất được xác định theo cách đó chỉ là phụ gia hữu hạn, mà bạn có thể thấy bằng một đối số tương tự như ví dụ về số hữu tỷ ở trên. $\mu$$\pi(\mu) = 1$

Bạn có thể cung cấp bất kỳ ví dụ về phân phối đơn biến không thể tạo ngẫu nhiên từ không?

Đặt $c$ là hằng số Chaitin và lấy mẫu (phân phối) biến ngẫu nhiên liên tục $c$ .

Nếu bạn chỉ quan tâm đến việc lấy mẫu các biến ngẫu nhiên có giá trị có thể được xấp xỉ một cách hợp lý bằng các số dấu phẩy động 64 bit hoặc bạn có một số dung sai tương tự đối với lỗi hữu hạn trong giá trị và dù sao bạn cũng không đại diện cho các mẫu của mình một máy Turing , xem xét điều này:

$X \sim \text{Ber}(p)$$p = 1 - c$$0$$1$

The two CDFs are piecewise constant: one is $0$ on $(-∞, c)$ and $1$ on $[c, ∞)$. The other is $0$ on $(-∞, 0)$, then $c$ on $[0, 1)$ and $1$ on $[1, ∞)$. That is, one makes $c$ relevant on the $x$-axis, the other on the $y$-axis. I'm not sure which makes sampling most difficult, so pick the one you (dis)like the most ;-)

let's say that by "impossible" we mean also cases that are very computationally expensive, e.g. that need brute-force simulations like drawing huge amounts of samples to accept just a few of them.

In this case, obvious answer seems obvious:

• Sample uniformly the prime factors of $n$ where $n$ is large (i.e. break RSA).
• Sample the preimages of a cryptographic hash function (i.e. generate bitcoin and break git and mercurial).
• Sample the set of optimal Go strategies (with Chinese superko rules, which make all games finite—as far as I understand).

A bit more formally: I give you a large instance of an NP-complete problem (or EXP-complete, etc.) and ask you to uniformly sample the set of solutions for me.

Probably I should accept $\bot$ as a solution to no-instances (and no-instances only, and it would be the only solution). I should also come up with a bijection between e.g. integers (assuming you want to sample members of $\mathbb{R}$) and solutions—which is often fairly trivial, just treat base 2 representations as truth assignments for my SAT instance, for example, and maybe use $-1$ to represent $\bot$.

You can easily check whether any given truth assignment satisfies my SAT instance, and having checked them all you know whether any one does, so I have fully specified a CDF by giving you a boolean formula (or circuit), yet to sample the corresponding distribution you have to essentially become something at least as powerful as a SAT-solvability oracle.

So I gave you an uncomputable number which should throw sand in your gears, and I gave you a CDF that's slow to calculate. Maybe the next obvious question to ask is something like this: is there a CDF represented in some efficient form (e.g. can be evaluated in polynomial time) such that it's hard to generate samples with that distribution? I don't know the answer to that one. I don't know the answer to that one.