Thuật toán hiệu quả để tạo ra hai hoán vị khuếch tán, loạn trí của một multiset một cách ngẫu nhiên

Lý lịch

$\newcommand\ms[1]{\mathsf #1}\def\msD{\ms D}\def\msS{\ms S}\def\mfS{\mathfrak S}\newcommand\mfm[1]{#1}\def\po{\color{#f63}{\mfm{1}}}\def\pc{\color{#6c0}{\mfm{c}}}\def\pt{\color{#08d}{\mfm{2}}}\def\pth{\color{#6c0}{\mfm{3}}}\def\pf{4}\def\pv{\color{#999}5}\def\gr{\color{#ccc}}\let\ss\gr$ Giả sử tôi có hai lô viên giống hệt nhau . Mỗi viên bi có thể là một trong những màu , trong đó . Hãy biểu thị số lượng viên bi màu trong từng lô. $n$ $c$ $c≤n$ $n_i$ $i$

Đặt là multiset đại diện cho một lô. Trong biểu diễn tần số , cũng có thể được viết dưới dạng . $\msS$ $\small\{\overbrace{\po,…,\po}^{n_1},\;\overbrace{\pt,…,\pt}^{n_2},\;…,\;\overbrace{\vphantom 1\pc,…,\pc}^{n_c}\}$ $\msS$ $(\po^{n_1} \;\pt^{n_2}\; … \;\pc^{n_c})$

Số lượng hoán vị riêng biệt của $\msS$ được đưa ra bởi đa thức :

| S_{S} | = = (\binom{n}{n_{1}, n_{2}, Giáo dục, n_{c}}) = = \frac{n!}{n_{1}! n_{2}! \dots n_{c}!} = = n! Π_{Tôi = = 1}^{c} \frac{1}{n_{Tôi}!} .

$\left|\mfS_{\msS}\right|=\binom{n}{n_1,n_2,\dots,n_c}=\frac{n!}{n_1!\,n_2!\cdots n_c!}=n! \prod_{i=1}^c \frac1{n_i!}.$

Câu hỏi

Có một thuật toán hiệu quả để tạo ra hai hoán vị khuếch tán, loạn trí $P$ và $Q$ của $\msS$ một cách ngẫu nhiên không? (Việc phân phối phải thống nhất.)

Một hoán vị $P$ là khuếch tán nếu cho mọi phần tử riêng biệt $i$ của $P$ , các trường hợp của $i$ được cách nhau ra các khá đồng đều trong $P$ .
Ví dụ: giả sử $\msS=(\po^4\;\pt^4)=\{\po,\po,\po,\po,\pt,\pt,\pt,\pt\}$ .
- $\{\po, \po, \po, \pt, \pt, \pt, \pt, \po\}$ không khuếch tán
- $\{\po, \pt, \po, \pt, \po, \pt, \po, \pt\}$ là khuếch tán
Nghiêm khắc hơn:
- Nếu $n_i=1$ , chỉ có một phiên bản của $i$ để không gian bên ngoài ra ngoài trong $P$ , vì vậy hãy để $\Delta(i)=0$ .
- Nếu không, hãy để $d(i,j)$ là khoảng cách giữa dụ $j$ và dụ $j+1$ của $i$ trong $P$ . Trừ đi khoảng cách dự kiến giữa các trường hợp của $i$ , xác định các mục sau: $δ (i, j) = d (i, j) - \frac{n}{n_{i}} Δ (i) = \sum_{j = 1}^{n_{i} - 1} δ (i, j)^{2}$ $\delta(i,j)=d(i,j)-\frac n{n_i}\qquad\qquad\Delta(i)=\sum_{j=1}^{n_i-1} \delta(i,j)^2$ Nếu $i$ cách đều nhau trong $P$ , thì $\Delta(i)$ phải bằng 0 hoặc rất gần với 0 nếu $n_i\nmid n$ .
Bây giờ xác định số liệu thống kê để đo lường bao nhiêu mỗi là đều nhau trong . Chúng tôi gọi khuếch tán nếu gần bằng 0 hoặc gần bằng . (Người ta có thể chọn ngưỡng cụ thể cho để khuếch tán nếu ) $s(P)=\sum_{i=1}^c\Delta(i)$ $i$ $P$ $P$ $s(P)$ $s(P)\ll n^2$ $k\ll1$ $\msS$ $P$ $s(P)<kn^2$

Ràng buộc này gợi lại một vấn đề lập lịch thời gian thực chặt chẽ hơn được gọi là vấn đề pinwheel với multiset (sao cho ) và mật độ . Mục tiêu là lên lịch cho một chuỗi vô hạn theo chu kỳ sao cho bất kỳ chuỗi con nào có độ dài đều chứa ít nhất một thể hiện của . Nói cách khác, một lịch trình khả thi đòi hỏi tất cả ; nếu đậm đặc ( ), thì và . Vấn đề pinwheel dường như là NP-hoàn thành. $\ms A=n/\msS$ $a_i=n/n_i$ $\rho=\sum_{i=1}^c n_i/n=1$ $P$ $a_i$ $i$ $d(i,j)≤a_i$ $\ms A$ $\rho= 1$ $d(i,j)=a_i$ $s(P)=0$
Hai hoán vị và đang bị rối loạn nếu là một xáo trộn của ; nghĩa là, cho mọi chỉ số . $P$ $Q$ $P$ $Q$ $P_i ≠ Q_i$ $i\in[n]$
Ví dụ: giả sử . $\msS=(\po^2\;\pt^2)=\{\po,\po,\pt,\pt\}$
- $\{\po, \pt, \po, \pt\}$ và không bị loạn trí $\{\po, \po, \pt, \pt\}$
- $\{\po, \pt, \po, \pt\}$ và bị loạn trí $\{\pt, \po, \pt, \po\}$

Phân tích thăm dò

Tôi quan tâm đến gia đình nhiều người có và cho . Cụ thể, hãy để . $n=20$ $n_i=4$ $i\lesssim4$ $\msD=(\gr1^4\,\gr2^4\,\gr3^4\,\gr4^3\,\gr5^2\,\gr6^1\,\gr7^1\,\gr8^1)$

Xác suất mà hai hoán vị ngẫu nhiên và của đang bị rối loạn là khoảng 3%. $P$ $Q$ $\msD$

Điều này có thể được tính như sau, trong đó là đa thức Laguerre thứ : Xem ở đây để giải thích. $L_k$ $k$
$\begin{aligned} | D_{D} | & = \int_{0}^{\infty} d t e^{- t} \prod_{i = 1}^{c} L_{n_{i}} (t) = \int_{0}^{\infty} d t e^{- t} (L_{4} (t))^{3} (L_{3} (t)) (L_{2} (t)) (L_{1} (t))^{3} \\ = 4.5 \times 10^{11} \\ | S_{D} | & = n! \prod_{i = 1}^{c} \frac{1}{n_{i}!} = \frac{20!}{(4!)^{3} (3!) (2!) (1!)^{3}} = 1.5 \times 10^{13} \\ p & = | D_{D} | / | S_{D} | \approx 0.03 \end{aligned}$ $\begin{align*} \left|{\mathfrak D}_{\msD}\right| &=\int_0^\infty \!\!dt\; e^{-t}\, \prod_{i=1}^c L_{n_i}(t) =\int_0^\infty \!\!dt\; e^{-t}\, \bigl(L_4(t)\bigr)^3\bigl(L_3(t)\bigr)\bigl(L_2(t)\bigr)\bigl(L_1(t)\bigr)^3\\ &=4.5\times10^{11}\\ \left|\mfS_{\msD}\right| &=n!\prod_{i=1}^c \frac1{n_i!} =\frac{20!}{(4!)^3\,(3!)\,(2!)\,(1!)^3} =1.5\times10^{13}\\ p&=\left|{\mathfrak D}_{\msD}\right|/ \left|\mfS_{\msD}\right|\approx0.03\end{align*}$
Xác suất mà một hoán vị ngẫu nhiên của là khuếch tán là khoảng 0,01%, đặt ngưỡng tùy ý ở mức xấp xỉ . $P$ $\msD$ $s(P)<25$

Dưới đây là biểu đồ xác suất theo kinh nghiệm gồm 100.000 mẫu trong đó là hoán vị ngẫu nhiên của . $s(P)$ $P$ $\msD$

Ở kích thước mẫu trung bình, . $s(P)\sim \text{Gamma}(\alpha\approx8,\beta\approx18)$

$\begin{array}{ccl} P & s (P) & cdf (s (P)) \\ {1, 8, 2, 3, 4, 1, 5, 2, 3, 6, 1, 4, 2, 3, 7, 1, 5, 2, 4, 3} & \frac{11}{9} \approx 1 & < 10^{- 5} \\ {8, 2, 3, 4, 1, 6, 5, 2, 3, 4, 1, 7, 1, 2, 3, 5, 4, 1, 2, 3} & \frac{140}{9} \approx 16 & < 10^{- 4} \\ {3, 6, 5, 1, 3, 4, 2, 1, 2, 7, 8, 5, 2, 4, 1, 3, 3, 2, 1, 4} & \frac{650}{9} \approx 72 & 0.05 \\ {3, 1, 3, 4, 8, 2, 2, 1, 1, 5, 3, 3, 2, 6, 4, 4, 2, 1, 7, 5} & \frac{1223}{9} \approx 136 & 0.45 \\ {4, 1, 1, 4, 5, 5, 1, 3, 3, 7, 1, 2, 2, 4, 3, 3, 8, 2, 2, 6} & \frac{1697}{9} \approx 189 & 0.80 \end{array}$ $\begin{array}{ccl}\renewcommand\mfm[1]{\textbf{#1}} \hline P & s(P) & \text{cdf}(s(P)) \\ \hline \{\po, \ss8, \pt, \pth, \pf, \po, \pv, \pt, \pth, \ss6, \po, \pf, \pt, \pth, \ss7, \po, \pv, \pt, \pf, \pth\} & \frac{11}9\approx1\, & <10^{-5} \\ \{\ss8, \pt, \pth, \pf, \po, \ss6, \pv, \pt, \pth, \pf, \po, \ss7, \po, \pt, \pth, \pv, \pf, \po, \pt, \pth\} & \frac{140}9\approx16 & <10^{-4} \\ \{\pth, \ss6, \pv, \po, \pth, \pf, \pt, \po, \pt, \ss7, \ss8, \pv, \pt, \pf, \po, \pth, \pth, \pt, \po, \pf\} & \frac{650}9\approx72 & \phantom{<1}0.05 \\ \{\pth, \po, \pth, \pf, \ss8, \pt, \pt, \po, \po, \pv, \pth, \pth, \pt, \ss6, \pf, \pf, \pt, \po, \ss7, \pv\} & \frac{1223}9\approx136 & \phantom{<1}0.45 \\ \{\pf, \po, \po, \pf, \pv, \pv, \po, \pth, \pth, \ss7, \po, \pt, \pt, \pf, \pth, \pth, \ss8, \pt, \pt, \ss6\} & \frac{1697}9\approx189 & \phantom{<1}0.80 \\ \hline \end{array}$

Xác suất hai hoán vị ngẫu nhiên là hợp lệ (cả khuếch tán và loạn trí) là khoảng . $v\approx(0.03)(0.0001)^2\approx10^{-10}$

Thuật toán không hiệu quả

Một thuật toán phổ biến nhanh trên nền tảng phổ biến để tạo ra sự biến dạng ngẫu nhiên của một tập hợp là dựa trên từ chối:

làm
     P ← Random_permuting ( D )
cho đến khi is_derangement ( D , P )
trả lại P

trong đó mất khoảng lần lặp, vì có khoảng có thể xảy ra. Tuy nhiên, thuật toán ngẫu nhiên dựa trên từ chối sẽ không hiệu quả cho vấn đề này, vì nó sẽ theo thứ tự lặp lại . $e$ $n!/e$ $1/v\approx10^{10}$

Trong thuật toán được sử dụng bởi Sage , một sự biến dạng ngẫu nhiên của multiset Nhận được hình thành bằng cách chọn một phần tử ngẫu nhiên từ danh sách tất cả các biến động có thể xảy ra. Đây cũng là điều không hiệu quả, vì có hoán vị hợp lệ để liệt kê, và bên cạnh đó, người ta sẽ cần một thuật toán chỉ để làm điều đó. $v\,|\mfS_{\msD}|^2\approx10^{16}$

Câu hỏi thêm

Sự phức tạp của vấn đề này là gì? Nó có thể được giảm xuống bất kỳ mô hình quen thuộc nào, chẳng hạn như lưu lượng mạng, tô màu đồ thị hoặc lập trình tuyến tính không?

— hftf
nguồn

Về định nghĩa của bạn về "khoảng cách", bạn không muốn cho với là trọng điểm? Điều đó có nghĩa là, một yếu tố duy nhất nên ở giữa, hai nên phân vùng hoán vị trong phần ba, v.v.

d (i, j) - n / (n_{i} + 1)

$d(i,j) - n/(n_i + 1)$

0 \leq i \leq j \leq n + 1

$0 \leq i \leq j \leq n+1$

P_{0} = P_{n + 1} = i

$P_0 = P_{n+1} = i$

— Raphael

Điều gì xảy ra nếu cho ác (nhỏ, nhưng đủ lớn); chúng ta thậm chí có hoán vị khuếch tán hơn? Chúng tôi chắc chắn không thể thay đổi để tìm thấy hai người loạn trí! Có vẻ như không có yếu tố nào có thể xảy ra nhiều hơn lần.

S = {1^{n - k}, 2^{k}}

$S = \{ 1^{n-k}, 2^k\}$

k

$k$

n / 2

$n/2$

— Raphael

Tỷ lệ của tất cả các cặp hoán vị loạn trong số tất cả các cặp hoán vị khuếch tán là gì? Tương tự, trong số tất cả các cặp hoán vị bị loạn trí, có bao nhiêu bao gồm hai cái khuếch tán? (Nếu một trong hai tỷ lệ này là "cao", chúng ta có thể tập trung nỗ lực vào một nửa của quá trình, khiến cho phần còn lại bị từ chối.)

— Raphael

@Raphael (# 3a) Trong số 1 triệu hoán vị ngẫu nhiên của , 561 cái khuếch tán này có . các cặp bị loạn trí.

D

$\mathsf D$

s (P) \leq 30

$s(P)\le 30$

6118 / (\binom{561}{2}) = 6118 / 157080 \approx 3.9 %

$6118/\binom{561}{2}=6118/157080\approx3.9\%$

— hftf

@Raphael (# 3b) Trong số 10 triệu cặp hoán vị ngẫu nhiên của , cặp đã bị loạn trí. Chỉ 29 trong số các cặp đó có cả hai hoán vị với . Đây là một biểu đồ ( giá trị ).

D

$\mathsf D$

s (P) \leq 50

$s(P)\le50$

— hftf

Câu trả lời:

Một cách tiếp cận: bạn có thể giảm vấn đề này thành vấn đề sau: Đưa ra công thức boolean , chọn một phép gán một cách ngẫu nhiên trong số tất cả các phép gán thỏa mãn của . Vấn đề này là NP-hard, nhưng có các thuật toán tiêu chuẩn để tạo một được phân phối gần đúng, các phương thức mượn từ các thuật toán #SAT. Ví dụ, một kỹ thuật là để chọn một hàm băm mà phạm vi có kích thước đã chọn một cách cẩn thận (khoảng cùng kích cỡ với số lượng đáp ứng nhiệm vụ của ), chọn thống nhất một cách ngẫu nhiên một giá trị từ trong phạm vi của $\varphi(x)$ $x$ $\varphi(x)$ $x$ $h$ $\varphi$ $y$ $h$ và sau đó sử dụng bộ giải SAT để tìm một phép gán thỏa mãn cho công thức . Để làm cho nó hiệu quả, bạn có thể chọn là một bản đồ tuyến tính thưa thớt. $\varphi(x) \land (h(x)=y)$ $h$

Đây có thể là bắn một con bọ chét bằng đại bác, nhưng nếu bạn không có cách tiếp cận nào khác có vẻ khả thi, thì đây là cách bạn có thể thử.

— DW
nguồn

tìm cái này khó theo. là một giá trị boolean và là một chuỗi nhị phân (tập hợp các biến nhị phân)? vậy phương trình cuối cùng có nghĩa là ...?

φ (x)

$\varphi(x)$

h (x)

$h(x)$

— vzn

một số thảo luận / phân tích mở rộng về vấn đề này bắt đầu trong trò chuyện cs với nền tảng sâu hơn đã phát hiện ra một số tính chủ quan trong các yêu cầu phức tạp của vấn đề nhưng không tìm thấy bất kỳ lỗi hoặc lỗi quá mức nào. ¹

đây là một số mã được kiểm tra / phân tích, so với giải pháp khác dựa trên SAT tương đối "nhanh và bẩn" nhưng không cần thiết / khó để gỡ lỗi. khái niệm lỏng lẻo của nó dựa trên sơ đồ tối ưu hóa giả / tham lam cục bộ hơi giống với ví dụ 2-OPT cho TSP . ý tưởng cơ bản là bắt đầu với một giải pháp ngẫu nhiên phù hợp với một số ràng buộc và sau đó gây nhiễu nó cục bộ để tìm kiếm các cải tiến, tham lam tìm kiếm các cải tiến và lặp lại qua chúng, và chấm dứt khi tất cả các cải tiến cục bộ đã cạn kiệt. một tiêu chí thiết kế là thuật toán phải hiệu quả / tránh bị từ chối càng nhiều càng tốt.

có một số nghiên cứu về các thuật toán loạn trí [4], ví dụ như được sử dụng trong SAGE [5] nhưng chúng không được định hướng xung quanh nhiều trang.

nhiễu loạn đơn giản chỉ là "hoán đổi" của hai vị trí trong bộ dữ liệu. việc thực hiện là trong ruby. sau đây là một số tổng quan / ghi chú với số refs cho số dòng.

qb2.rb (gist-github)

Cách tiếp cận ở đây là bắt đầu với hai bộ dữ liệu bị loạn trí (# 106) và sau đó cải thiện sự phân tán cục bộ (# 107), kết hợp trong một khái niệm gọi là derangesperse(# 97), bảo toàn sự loạn trí. lưu ý rằng việc hoán đổi hai vị trí giống nhau trong cặp tuple sẽ bảo vệ sự loạn trí và có thể cải thiện sự phân tán và đó là (một phần) của phương pháp / chiến lược phân tán.

các derangechương trình con công trình trái sang phải trên mảng (MultiSet) và giao dịch hoán đổi với các yếu tố sau trong mảng nơi trao đổi không phải là với cùng một nguyên tố (# 10). thuật toán thành công nếu, không có sự hoán đổi nào ở vị trí cuối cùng, hai bộ dữ liệu vẫn bị loạn trí (# 16).

có 3 cách tiếp cận khác nhau để làm loạn các bộ dữ liệu ban đầu. tuple thứ 2 p2luôn bị xáo trộn. người ta có thể bắt đầu với tuple 1 ( p1) được sắp xếp theo a."bậc 1 quyền lực cao nhất" (# 128), b.thứ tự xáo trộn (# 127) c.và "bậc thấp nhất bậc 1" ("quyền hạn cao nhất bậc nhất") (# 126).

thói quen phân tán dispersecó liên quan nhiều hơn nhưng về mặt khái niệm không quá khó. một lần nữa nó sử dụng giao dịch hoán đổi. thay vì cố gắng tối ưu hóa sự phân tán nói chung trên tất cả các yếu tố, nó chỉ đơn giản là cố gắng lặp đi lặp lại làm giảm bớt trường hợp xấu nhất hiện tại. ý tưởng là tìm các phần tử phân tán ít nhất ^thứ 1 , từ trái sang phải. nhiễu loạn là hoán đổi các phần tử bên trái hoặc bên phải ( x, ychỉ mục) của cặp phân tán ít nhất với các phần tử khác nhưng không bao giờ có bất kỳ phần nào giữa cặp (sẽ luôn giảm phân tán) và cũng bỏ qua việc cố gắng trao đổi với các phần tử tương tự ( selecttrong # 71) . mlà chỉ số trung điểm của cặp (# 65).

tuy nhiên, độ phân tán được đo / tối ưu hóa trên cả hai bộ dữ liệu trong cặp (# 40) bằng cách sử dụng độ phân tán "ít nhất / trái nhất" trong mỗi cặp (# 25, # 44).

thuật toán cố gắng hoán đổi các phần tử "xa nhất" ^thứ 1 ( sort_by / reverse# 71).

có hai chiến lược khác nhau true, falseđể quyết định nên hoán đổi phần tử bên trái hay bên phải của cặp phân tán ít nhất (# 80), hoặc phần tử bên trái cho vị trí hoán đổi sang phần tử bên trái / bên phải hoặc phần tử bên trái hoặc bên phải xa nhất trong cặp phân tán từ phần tử hoán đổi.

thuật toán kết thúc (# 91) khi nó không còn có thể cải thiện độ phân tán (di chuyển vị trí phân tán xấu nhất sang phải hoặc tăng độ phân tán tối đa trên toàn bộ cặp tuple (# 85)).

số liệu thống kê là đầu ra để loại bỏ hơn c1000 lần loạn trong 3 cách tiếp cận (# 116) và c= 1000 biến số (# 97), xem xét 2 thuật toán phân tán cho một cặp bị loạn trí từ chối (# 19, # 106). cái sau theo dõi tổng độ phân tán trung bình (sau khi loạn được đảm bảo). một ví dụ chạy như sau

c       0.661000
b       0.824000
a       0.927000
[2.484, 2, 4]
[2.668, 2, 4]

điều này cho thấy a-truethuật toán cho kết quả tốt nhất với ~ 92% không phản xạ và khoảng cách phân tán tồi tệ nhất trung bình ~ 2,6 và tối thiểu được bảo đảm là hơn 2 thử nghiệm, tức là ít nhất 1 yếu tố can thiệp không có yếu tố giữa tất cả các cặp yếu tố tương tự. nó đã tìm ra giải pháp cao tới 3 yếu tố can thiệp không cần thiết.

thuật toán loạn trí là loại bỏ trước thời gian tuyến tính và thuật toán phân tán (chạy trên đầu vào bị loạn) dường như có thể ~ . $O(n \log n)$

¹ vấn đề là tìm ra các sắp xếp gói quizbowl thỏa mãn cái gọi là "phong thủy" [1] hoặc một thứ tự ngẫu nhiên "tốt đẹp" trong đó "đẹp" có phần chủ quan và chưa được "định lượng" chính thức; tác giả của vấn đề đã phân tích / giảm nó thành các tiêu chí gây rối / phân tán dựa trên nghiên cứu của cộng đồng quizbowl và "các chuyên gia phong thủy". [2] có những ý tưởng khác nhau về "quy tắc phong thủy." một số nghiên cứu "được công bố" đã được thực hiện trên các thuật toán nhưng nó xuất hiện ở giai đoạn đầu. [3]

[1] Gói phong thủy / QBWiki

[2] Gói Quizbowl và phong thủy / Lifshitz

[3] Đặt câu hỏi , diễn đàn trung tâm tài nguyên HSQuizbowl

[4] Tạo ra sự biến đổi ngẫu nhiên / Martinez, Panholzer, Prodinger

[5] Thuật toán khử nhiễu hiền (python) / McAndrew

— vzn
nguồn

fyi nghĩ thêm, có một trục trặc trong thói quen derange & nó không phải lúc nào cũng loạn trí. vị trí trao đổi có thể tiến lên mà không trao đổi bất cứ điều gì. Có một sửa chữa đơn giản để kiểm tra thành công chính xác.

— vzn