chi phí lấy mẫu của so với

Tôi đã gặp phải vấn đề mô phỏng sau: đưa ra một tập hợp của các số thực đã biết, phân phối trên được định nghĩa bởi trong đó biểu thị phần dương của . Trong khi tôi có thể nghĩ về một bộ lấy mẫu của Metropolis-Hastings nhắm mục tiêu phân phối này, tôi tự hỏi liệu có tồn tại một bộ lấy mẫu trực tiếp hiệu quả hay không, tận dụng số lượng lớn xác suất bằng 0 để giảm thứ tự của thuật toán từ xuống . $\{\omega_1,\ldots,\omega_d\}$ $\{-1,1\}^d$

P (X = (x_{1}, \dots, x_{d})) \propto (x_{1} ω_{1} + \dots + x_{d} ω_{d})_{+}

$\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+$

(z)_{+}

$(z)_+$

z

$z$

O (2^{d})

$O(2^d)$

O (d)

$O(d)$

— Tây An
nguồn

Đây là một bộ lấy mẫu đệ quy khá rõ ràng là trong trường hợp tốt nhất (tính theo trọng số ), nhưng theo cấp số nhân trong trường hợp xấu nhất. $O(d)$ $\omega_i$

Giả sử chúng ta đã chọn và muốn chọn . Chúng ta cần tính toán và chọn với xác suất Mẫu số sẽ là khác không cho bất kỳ sự lựa chọn hợp lệ nào của các mẫu . $x_1, \dots, x_{i-1}$ $x_{i}$

w (x_{1}, \dots, x_{i - 1}, x_{i}) = \sum_{x_{i + 1} \in {- 1, 1}} \dots \sum_{x_{d} \in {- 1, 1}} {(\sum_{j = 1}^{d} ω_{j} x_{j})}_{+}

$w(x_1, \dots, x_{i-1}, x_i) = \sum_{x_{i+1} \in \{-1, 1\}} \cdots \sum_{x_{d} \in \{-1, 1\}} \left( \sum_{j=1}^d \omega_j x_j \right)_+$

x_{i} = 1

$x_i = 1$

\frac{w (x_{1}, \dots, x_{i - 1}, 1)}{w (x_{1}, \dots, x_{i - 1}, 1) + w (x_{1}, \dots, x_{i - 1}, - 1)} .

$\frac{w(x_1, \dots, x_{i-1}, 1)}{w(x_1, \dots, x_{i-1}, 1) + w(x_1, \dots, x_{i-1}, -1)}.$

x_{1}, \dots, x_{i - 1}

$x_1, \dots, x_{i-1}$

Bây giờ, tất nhiên, câu hỏi là làm thế nào để tính . $w(x_1, \dots, x_i)$

Nếu chúng ta có , thì cho bất kỳ với các mục hàng đầu và vì vậy trở thành: $C := \sum_{j=1}^{i} \omega_j x_j \ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ $\omega \cdot x \ge 0$ $x$ $x_{1:i}$ $w$

\begin{aligned} \sum_{x_{i + 1}} \dots \sum_{x_{d}} ω \cdot x & = ω \cdot (\sum_{x_{i + 1}} \dots \sum_{x_{d}} x) \\ = \sum_{j = 1}^{i} ω_{j} \underset{2^{d - i} x_{j}}{\underset{⏟}{(\sum_{x_{i + 1}} \dots \sum_{x_{d}} x_{j})}} + \sum_{j = i + 1}^{d} ω_{j} \underset{0}{\underset{⏟}{(\sum_{x_{i + 1}} \dots \sum_{x_{d}} x_{j})}} \\ = 2^{d - i} C . \end{aligned}

$\begin{align} \sum_{x_{i+1}} \cdots \sum_{x_d} \omega \cdot x &= \omega \cdot \left( \sum_{x_{i+1}} \cdots \sum_{x_d} x \right) \\&= \sum_{j=1}^i \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{2^{d-i} x_j} + \sum_{j=i+1}^d \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{0} \\&= 2^{d-i} C .\end{align}$

Trong trường hợp ngược lại, , chúng ta có và vì vậy . $C \le - \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ $\omega \cdot x \le 0$ $w(x_1, \dots, x_i) = 0$

Mặt khác, chúng ta phải lặp lại, sử dụng . $w(x_1, \dots, x_i) = w(x_1, \dots, x_i, 1) + w(x_1, \dots, x_i, -1)$

Giả sử rằng bộ nhớ không phải là vấn đề và chúng ta có thể lưu trữ tất cả các tính toán phụ trong , trong một cây - cho đến khi chúng ta gặp phải một trong những trường hợp "đẹp", sau đó các cuộc gọi mất thời gian liên tục. (Chúng tôi sẽ cần phải tính toán toàn bộ cây này anyway để chọn ). Sau đó, một khi cây này tính toán được xây dựng, các sampler sẽ chỉ mất thời gian. Câu hỏi là mất bao lâu để xây dựng cây, hoặc tương đương với nó lớn như thế nào. $w(1)$ $w(-1)$ $x_1$ $w$ $O(d)$

Tất nhiên chúng tôi sẽ xử lý các trường hợp "đẹp" nhanh hơn nếu được sắp xếp, . $\omega_i$ $\omega_1 \ge \omega_2 \ge \dots \ge \omega_d$

Trong trường hợp tốt nhất, . Sau đó, chúng tôi đạt được một trường hợp "đẹp" ngay lập tức cho cả hoặc , vì vậy việc xây dựng cây mất thời gian không đổi và toàn bộ bộ lấy mẫu mất thời gian . $\lvert \omega_1 \rvert > \sum_{j=2}^d \lvert \omega_j \rvert$ $w(1)$ $w(-1)$ $w$ $O(d)$

Trong trường hợp xấu nhất (được sắp xếp), . Sau đó, câu hỏi là: cây lớn như thế nào? $\omega_1 = \omega_2 = \dots = \omega_d$

Tất nhiên, các đường dẫn đầu tiên để kết thúc tất nhiên là và có độ dài . Do đó, cây hoàn thành đến độ sâu đó và do đó chứa ít nhất các nút . (Nó có nhiều hơn; bạn có thể tìm thấy nó với một đối số giống như các đối số được sử dụng trong các vấn đề hủy hoại của người đánh bạc, nhưng tôi không thể tìm thấy nó trong hai phút của Google và không quan tâm đặc biệt - là xấu đủ....) $(1, 1, \dots, 1)$ $(-1, -1, \dots, -1)$ $\lceil d/2 \rceil$ $O(2^{d/2})$ $2^{d/2}$

Nếu cài đặt của bạn chỉ có một vài rất lớn , thì đây có lẽ là một cách tiếp cận hợp lý thực tế. Nếu đều có độ lớn tương tự nhau, thì có lẽ nó vẫn còn theo cấp số nhân và quá đắt đối với lớn . $\omega_i$ $\omega_i$ $d$

— Dougal
nguồn

Cảm ơn loại Viterbi này. Khi bạn viết "Trong trường hợp ngược lại", Tôi hiểu bạn không có nghĩa là phần bù của trường hợp đầu tiên

C_{i} \leq - \sum_{j = i + 1}^{d} | ω_{j} |

$C_i\le -\sum_{j=i+1}^{d} \lvert \omega_j \rvert$

C_{i} \geq \sum_{j = i + 1}^{d} | ω_{j} |

$C_i\ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$

— Tây An

Không, không phải phần bổ sung: khi nó rất lớn, bạn biết rằng việc cắt bớt không được áp dụng, khi nó rất nhỏ, nó luôn được áp dụng và ở giữa bạn phải tìm lại khi nào nó được áp dụng.

— Dougal