Giới hạn dưới để kiểm tra độ gần trong định mức

11

Tôi đã tự hỏi nếu có bất kỳ ràng buộc thấp hơn (về độ phức tạp mẫu) được biết đến cho vấn đề sau:

Với mẫu truy cập oracle để hai phân bố chưa biết $D_1$ , $D_2$ trên $\{1,\dots,n\}$ , kiểm tra (WHP) liệu

$D_1=D_2$
$\operatorname{d_2}(D_1,D_2)=\lVert D_1-D_2\rVert_2 = \sqrt{\sum_{i=1}^n\left(D_1(i)-D_2(i)\right)^2} \geq \epsilon$

Batu et al. [BFR + 00] cho thấy các mẫu là đủ, nhưng tôi không tìm thấy bất kỳ đề cập nào về giới hạn dưới? $O\left(\frac{1}{\epsilon^4}\right)$

Tôi cho rằng người ta luôn có thể hiển thị bị ràng buộc thấp hơn bằng cách giảm nhiệm vụ phân biệt đồng xu thiên vị so với cho vấn đề này (mô phỏng phân phối chỉ được hỗ trợ trên hai điểm và trả lời các truy vấn của người kiểm tra theo các lần tung đồng xu iid), nhưng điều đó vẫn để lại một khoảng cách bậc hai ... $\Omega(\frac{1}{\epsilon^2})$ $\epsilon$

(Một điểm khác tôi quan tâm là giới hạn thấp hơn trong việc ước tính (tối đa phụ gia ) khoảng cách này - một lần nữa, tôi không tìm thấy tài liệu tham khảo nào về kết quả như vậy trong tài liệu) $\epsilon$ $L_2$

Cảm ơn bạn đã giúp đỡ,

— Clement C.
nguồn

Vấn đề hứa hẹn này có vẻ rất giống với vấn đề được gọi là sự khác biệt thống kê của Sahai và Vadhan, đây là một vấn đề hoàn chỉnh đối với lớp SZK (kiến thức không thống kê); tuy nhiên, họ sử dụng khoảng cách . cs.ucla.edu/~sahai/work/web/2003%20Publications/J.ACM2003.pdf . (Chỉnh sửa: tôi cũng nghĩ rằng họ đang giả sử rằng bạn có một mạch điện toán phân phối, chứ không phải truy cập

L_{1}

$L_1$

— orory

Xin chào, như đã đề cập trong một nhận xét khác, sự khác biệt giữa chỉ tiêu và thực sự rất quan trọng ở đây - hơn nữa, trong bài báo, họ đã thiết lập một ngưỡng rõ ràng (và không tùy ý) (trong một trong những nhận xét, họ giải thích rằng ngưỡng này cần phải thỏa mãn một số ràng buộc cụ thể); và muốn phân biệt so với (gần bằng cách kiểm tra dung sai / ước lượng khoảng cách hơn so với "kiểm tra thông thường", trong đó bạn muốn kiểm tra so với (nhưng đối với bất kỳ cố định )).

L_{2}

$L_2$

L_{1}

$L_1$

τ = 1 / 3

$\tau=1/3$

d_{1} \leq τ

$d_1 \leq \tau$

d_{2} \geq 1 - τ

$d_2 \geq 1-\tau$

d_{2} = 0

$d_2=0$

d_{2} \geq ϵ

$d_2 \geq \epsilon$

ϵ

$\epsilon$

— Clement C.

6

Dường như các mẫu - như usul chỉ ra bên dưới - là đủ để thử nghiệm, do đó độ phức tạp của mẫu chính xác là ; trên thực tế, nó quay ra con số này của mẫu chúng tôi thậm chí đủ cho học lên đến một chất phụ gia wrt chuẩn mực. $O(1/\epsilon^2)$ $\Theta(1/\epsilon^2)$ $D$ $\epsilon$ $L_2$

Đặt là hàm mật độ thực nghiệm thu được bằng cách vẽ iid mẫu và đặt Sau đó trong đó . các $\hat{D}$ $m$ $s_1,\dots, s_m\sim D$

\hat{D} (k) \overset{d e f}{=} \frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}}, k \in [n]

$\hat{D}(k) \stackrel{\rm{}def}{=} \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}},\qquad k\in[n]$

\begin{aligned} ‖ D - \hat{D} ‖_{2}^{2} & = \sum_{k = 1}^{n} {(\frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - D (k))}^{2} = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(\sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - m D (k))}^{2} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(X_{k} - E X_{k})}^{2} \end{aligned}

$\begin{align*} \lVert D - \hat{D} \rVert_2^2 &= \sum_{k=1}^n \left( \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - D(k) \right)^2 = \frac{1}{m^2}\sum_{k=1}^n \left( \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - mD(k) \right)^2 \\ &= \frac{1}{m^2}\sum_{k=1}^n \left( X_k - \mathbb{E} X_k \right)^2 \end{align*}$

X_{k} \overset{d e f}{=} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} \sim Bin (m, D (k))

$X_k\stackrel{\rm{}def}{=} \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}}\sim\operatorname{Bin}( m, D(k) )$

X_{k}

$X_k$ (đối với ) không độc lập, nhưng chúng ta có thể viết sao cho , và áp dụng bất đẳng thức Markov

k \in [n]

$k\in[n]$

\begin{aligned} E ‖ D - \hat{D} ‖_{2}^{2} & = \frac{1}{m^{2}} \sum_{k = 1}^{n} E [{(X_{k} - E X_{k})}^{2}] = \frac{1}{m^{2}} \sum_{k = 1}^{n} Var X_{k} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} m D (k) (1 - D (k)) \leq \frac{1}{m} \sum_{k = 1}^{n} D (k) \\ = \frac{1}{m} \end{aligned}

$\begin{align*} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 &= \frac{1}{m^2}\sum_{k=1}^n \mathbb{E}\left[ \left( X_k - \mathbb{E} X_k \right)^2 \right] = \frac{1}{m^2}\sum_{k=1}^n \operatorname{Var} X_k \\ &= \frac{1}{m^2}\sum_{k=1}^n mD(k)\left( 1- D(k) \right) \leq \frac{1}{m}\sum_{k=1}^n D(k) \\ &= \frac{1}{m} \end{align*}$

m \geq \frac{3}{ϵ^{2}}

$m\geq \frac{3}{\epsilon^2}$

E ‖ D - \hat{D} ‖_{2}^{2} \leq \frac{ϵ^{2}}{3}

$\begin{equation} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 \leq \frac{\epsilon^2}{3} \end{equation}$

P {‖ D - \hat{D} ‖_{2} \geq ϵ} \leq \frac{1}{3} .

$\begin{equation} \mathbb{P}\left\{ \lVert D - \hat{D} \rVert_2 \geq \epsilon \right\} \leq \frac{1}{3}. \end{equation}$

— Clement C.
nguồn

(Tôi đã đề cập đến câu trả lời của usul bắt đầu bằng "Tôi sẽ cố gắng chuộc lại lỗi trước đó của mình bằng cách hiển thị một cái gì đó ngược lại [...]" - thực sự nằm trên cái này. Tôi không mong đợi điều này :)) trên ràng buộc, nó có thể được chỉ ra rằng các thuật toán ngây thơ nhất (có nghĩa là, một trong đó thu hút mẫu, và đầu ra mật độ thực nghiệm định nghĩa này) mang lại một bản phân phối mà là, với xác suất không đổi, - đóng vào trong khoảng cách .

m = O (1 / ϵ^{2})

$m=O(1/\epsilon^2)$

\hat{D}

$\hat{D}$

ϵ

$\epsilon$

D

$D$

L_{2}

$L_2$

— Clement C.

@DW Mình mới chỉnh sửa câu trả lời của mình.

— Clement C.

3

Tôi sẽ cố gắng khắc phục lỗi trước đó bằng cách hiển thị một cái gì đó ngược lại - rằng các mẫu là đủ (giới hạn dưới của gần như chặt chẽ)! Xem những gì bạn nghĩ .... $\tilde{\Theta}\left(\frac{1}{\epsilon^2}\right)$ $1/\epsilon^2$

Trực giác quan trọng bắt đầu từ hai quan sát. Đầu tiên, để các bản phân phối có khoảng cách là , phải có các điểm có xác suất cao ( ). Ví dụ: nếu chúng tôi có điểm xác suất , chúng tôi sẽ có . $L_2$ $\epsilon$ $\Omega(\epsilon^2)$ $1/\epsilon^3$ $\epsilon^3$ $\|D_1 - D_2\|_2 \leq \sqrt{\frac{1}{\epsilon^3} (\epsilon^3)^2} = \epsilon^{3/2} < \epsilon$

Thứ hai, xem xét phân phối đồng đều với khoảng cách là . Nếu chúng ta có điểm xác suất , thì mỗi điểm sẽ khác nhau bởi các mẫu và sẽ đủ. Mặt khác, nếu chúng ta có các điểm , thì mỗi điểm sẽ cần khác nhau bởi các mẫu và một lần nữa các mẫu (một số không đổi trên mỗi điểm) đủ. Vì vậy, chúng tôi có thể hy vọng rằng, trong số các điểm có xác suất cao được đề cập trước đó, luôn có một số điểm khác nhau "đủ" để phân biệt nó. $L_2$ $\epsilon$ $O(1)$ $O(1)$ $O(\epsilon)$ $1/\epsilon^2$ $O(1/\epsilon^2)$ $O(\epsilon^2)$ $O(1/\epsilon^2)$ $O(1/\epsilon^2)$

Thuật toán. Cho và tham số độ tin cậy , đặt . Vẽ các mẫu từ mỗi bản phân phối. Đặt là số mẫu tương ứng cao hơn, thấp hơn cho điểm . Nếu có bất kỳ điểm nào mà và , hãy khai báo phân phối khác nhau. Nếu không, tuyên bố chúng như nhau. $\epsilon$ $M$ $X = M \log(1/\epsilon^2)$ $\frac{X}{\epsilon^2}$ $a_i,b_i$ $i$ $i \in [n]$ $a_i \geq \frac{X}{8}$ $a_i-b_i \geq \sqrt{a_i} \frac{\sqrt{X}}{4}$

Giới hạn chính xác và độ tin cậy ( ) phụ thuộc vào bổ đề sau đây nói rằng tất cả độ lệch trong khoảng cách đến từ các điểm có xác suất khác nhau bởi . $1-e^{-\Omega(M)}$ $L_2$ $\Omega(\epsilon^2)$

Yêu cầu. Giả sử . Đặt. Đặt . Sau đó $\|D_1 - D_2\|_2 \geq \epsilon$ $\delta_i = |D_1(i) - D_2(i)|$ $S_k = \{i : \delta_i > \frac{\epsilon^2}{k}\}$
$\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (1 - \frac{2}{k}) .$ $\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2\left(1-\frac{2}{k}\right).$

Bằng chứng . Chúng tôi có Chúng ta hãy ràng buộc tổng thứ hai; chúng tôi muốn tối đa hóa theo chủ đề . Vì hàm hoàn toàn lồi và tăng, chúng ta có thể tăng mục tiêu bằng cách lấy bất kỳ và tăng bằng trong khi giảm bằng . Do đó, mục tiêu sẽ được tối đa hóa với càng nhiều điều khoản càng tốt ở các giá trị tối đa của chúng và phần còn lại ở

\sum_{i \in S_{k}} δ_{i}^{2} + \sum_{i \notin S_{k}} δ_{i}^{2} \geq ϵ^{2} .

$\sum_{i \in S_k} \delta_i^2 ~ + ~ \sum_{i \not\in S_k} \delta_i^2 \geq \epsilon^2.$

\sum_{i \notin S_{k}} δ_{i}^{2}

$\sum_{i \not\in S_k} \delta_i^2$

\sum_{i \notin S_{k}} δ_{i} \leq 2

$\sum_{i \not\in S_k} \delta_i \leq 2$

x \mapsto x^{2}

$x \mapsto x^2$

δ_{i} \geq δ_{j}

$\delta_i \geq \delta_j$

δ_{i}

$\delta_i$

γ

$\gamma$

δ_{j}

$\delta_j$

γ

$\gamma$

0

$0$ . Giá trị tối đa của mỗi thuật ngữ là và có nhiều nhất các điều khoản của giá trị này (vì chúng có tổng số nhiều nhất là ). Vì vậy,

\frac{ϵ^{2}}{k}

$\frac{\epsilon^2}{k}$

\frac{2 k}{ϵ^{2}}

$\frac{2k}{\epsilon^2}$

2

$2$

\sum_{i \notin S_{k}} δ_{i}^{2} \leq \frac{2 k}{ϵ^{2}} {(\frac{ϵ^{2}}{k})}^{2} = \frac{2 ϵ^{2}}{k} . ◻

$\sum_{i \not\in S_k} \delta_i^2 \leq \frac{2k}{\epsilon^2}\left(\frac{\epsilon^2}{k}\right)^2 = \frac{2\epsilon^2}{k} . ~~~~ \square$

Yêu cầu . Đặt . Nếu , tồn tại ít nhất một điểm với và . $p_i = \max\{D_1(i),D_2(i)\}$ $\|D_1 - D_2\|_2 \geq \epsilon$ $i \in [n]$ $p_i > \frac{\epsilon^2}{4}$ $\delta_i \geq \frac{\epsilon \sqrt{p_i}}{2}$

Bằng chứng . Đầu tiên, tất cả các điểm trong đều có theo định nghĩa (và không thể để trống cho theo yêu cầu trước đó). $S_k$ $p_i \geq \delta_i > \frac{\epsilon^2}{k}$ $S_k$ $k > 2$

Thứ hai, vì , chúng tôi có hoặc, sắp xếp lại, do đó, bất đẳng thức giữ ít nhất một điểm trong . Bây giờ chọn . $\sum_i p_i \leq 2$

\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (\frac{1}{2} - \frac{1}{k}) \sum_{i \in S_{k}} p_{i},

$\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right) \sum_{i \in S_k} p_i,$

\sum_{i \in S_{k}} (δ_{i}^{2} - p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})) \geq 0,

$\sum_{i \in S_k} \left( \delta_i^2 - p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)\right) \geq 0 ,$

δ_{i}^{2} \geq p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})

$\delta_i^2 \geq p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)$

S_{k}

$S_k$

k = 4

$k=4$

◻

$\square$

Yêu cầu (dương tính giả) . Nếu , thuật toán của chúng tôi khai báo chúng khác với xác suất nhiều nhất là . $D_1 = D_2$ $e^{-\Omega(M)}$

Phác thảo . Hãy xem xét hai trường hợp: và . Trong trường hợp đầu tiên, số lượng mẫu của sẽ không vượt quá từ một trong hai phân phối: Số lượng mẫu trung bình là và giới hạn đuôi nói rằng với xác suất , mẫu 's không vượt quá trung bình của họ bằng một chất phụ gia ; nếu chúng ta cẩn thận giữ giá trị ở đuôi bị ràng buộc, chúng ta có thể liên kết với chúng cho dù có bao nhiêu điểm như vậy (theo trực giác, ràng buộc giảm theo cấp số mũ theo số điểm có thể). $p_i < \epsilon^2/16$ $p_i \geq \epsilon^2/16$ $i$ $X/8$ $< X/16$ $e^{-\Omega(X/p_i)} = \epsilon^2 e^{-\Omega(M/p_i)}$ $i$ $X/16$ $p_i$

Trong trường hợp , chúng ta có thể sử dụng ràng buộc Chernoff: Nó nói rằng, khi chúng ta lấy mẫu và một điểm được rút ra với xác suất , xác suất khác với trung bình của nó bởi nhiều nhất là . Ở đây, hãy để , do đó xác suất được giới hạn bởi . $p_i \geq \epsilon^2/16$ $m$ $p$ $pm$ $c \sqrt{pm}$ $e^{-\Omega((c\sqrt{pm})^2/pm)} = e^{-\Omega(c^2)}$ $c = \frac{\sqrt{X}}{16}$ $e^{-\Omega(X)} = \epsilon^2 e^{-\Omega(M)}$

Vì vậy, với xác suất , (cho cả hai bản phân phối) số lượng mẫu của nằm trong có nghĩa là . Do đó, bài kiểm tra của chúng tôi sẽ không bắt được những điểm này (chúng rất gần nhau) và chúng tôi có thể liên kết với tất cả trong số chúng. $1-\epsilon^2e^{-\Omega(M)}$ $i$ $\sqrt{p_i\frac{X}{\epsilon^2}}\frac{\sqrt{X}}{16}$ $p_i\frac{X}{\epsilon^2}$ $16/\epsilon^2$ $\square$

Yêu cầu (phủ định sai) . Nếu , thuật toán của chúng tôi khai báo chúng giống hệt với xác suất nhiều nhất là . $\|D_1 - D_2\|_2 \geq \epsilon$ $\epsilon^2 e^{-\Omega(M)}$

Phác thảo . Có một số điểm với và . Cùng một giá trị ràng buộc như trong tuyên bố trước đó nói rằng với xác suất , số lượng mẫu của khác với trung bình của nó nhiều nhất là . Đó là cho phân phối (WLOG) có ; nhưng có xác suất thậm chí thấp hơn về số lượng mẫu của từ phân phối $i$ $p_i > \epsilon^2/4$ $\delta_i \geq \epsilon \sqrt{p_i}/2$ $1-\epsilon^2 e^{-\Omega(M)}$ $i$ $p_i m$ $\sqrt{p_i m} \frac{\sqrt{X}}{16}$ $1$ $p_i = D_1(i) = D_2(i) + \delta_i$ $i$ $2$ khác với giá trị trung bình của nó bởi lượng phụ gia này (vì giá trị trung bình và phương sai thấp hơn).

Vì vậy, với xác suất cao, số lượng mẫu của từ mỗi phân phối nằm trong phạm vi về ý nghĩa của nó; nhưng xác suất của chúng khác nhau bởi , vì vậy phương tiện của chúng khác nhau bởi $i$ $\sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{16}$ $\delta_i$

\frac{X}{ϵ^{2}} δ_{i} \geq \frac{X \sqrt{p_{i}}}{2 ϵ} = \sqrt{\frac{p_{i} X}{ϵ^{2}}} \frac{\sqrt{X}}{2} .

$\frac{X}{\epsilon^2}\delta_i \geq \frac{X \sqrt{p_i}}{2\epsilon} = \sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{2} .$

Vì vậy, với xác suất cao, đối với điểm , số lượng mẫu khác nhau ít nhất là . $i$ $\sqrt{\# samples(1)} \frac{\sqrt{X}}{4}$ $\square$

Để hoàn thành các bản phác thảo, chúng ta cần chỉ ra một cách chặt chẽ hơn rằng, với đủ lớn, số lượng mẫu của đủ gần với ý nghĩa của nó, khi thuật toán sử dụng thay vì , nó không thay đổi bất cứ điều gì (điều này nên đơn giản bằng cách để một số phòng ngọ nguậy trong các hằng số). $M$ $i$ $\sqrt{\# samples}$ $\sqrt{mean}$

— sử dụng
nguồn

Xin chào, Cảm ơn vì điều này - Tôi có một vài câu hỏi về thuật toán và phân tích (liên quan đến một vài điểm tôi không chắc chắn nhận được): giả sử cuối cùng tôi chỉ muốn xác suất không đổi thành công, điều đó có nghĩa là không đổi, nếu tôi hiểu chính xác (trừ khi tôi không hiểu là gì)? Vì vậy, trong trường hợp này, chuyển sang : theo thuật toán, nó trở thành - điều đó có đúng không?

2 / 3

$2/3$

M

$M$

M

$M$

X

$X$

Θ (\log \frac{1}{ϵ})

$\Theta(\log\frac{1}{\epsilon})$

— Clement C.

@ClementC. Xin lỗi tôi đã không rõ ràng! Khiếu nại là nếu chúng ta vẽ các mẫu , thì xác suất bị sai là , vì vậy xác suất không đổi là sai, các mẫu .

\frac{1}{ϵ^{2}} M \log (1 / ϵ^{2})

$\frac{1}{\epsilon^2} M \log(1/\epsilon^2)$

O (e^{- M})

$O(e^{-M})$

O (\frac{1}{ϵ^{2}} \log (1 / ϵ^{2}))

$O\left(\frac{1}{\epsilon^2} \log(1/\epsilon^2)\right)$

— usul

OK, đó là những gì tôi thu thập được. Tôi sẽ xem xét bằng chứng này trong tâm trí - cảm ơn lần nữa vì đã dành thời gian cho việc này!

— Clement C.

1

Bạn có thể bắt đầu bằng cách cố gắng giải quyết vấn đề này cho trường hợp . Tôi khá chắc chắn các mẫu sẽ là cần thiết và đủ, trong trường hợp đó. $n=2$ $\Theta(1/\epsilon^2)$

Có thể bạn sẽ thấy hữu ích khi xem xét chuyển đổi giữa khoảng cách và khoảng cách (tổng khoảng cách biến thể). $L_2$ $L_1$

Người ta biết rằng, với một mẫu, nếu biết các phân phối, tổng khoảng cách biến thể hoàn toàn mô tả lợi thế mà người ta có thể phân biệt với . Do đó, nếu tổng khoảng cách biến thể lớn và phân phối được biết đến, người ta có thể xây dựng một thử nghiệm chính xác với xác suất cao; nếu tổng khoảng cách biến đổi nhỏ, người ta không thể. Tôi không biết người ta có thể nói gì về trường hợp tổng khoảng cách biến đổi lớn nhưng phân phối không xác định. $D_1$ $D_2$
Tiếp theo, bạn có thể xem các bản phân phối sản phẩm, và . Sử dụng tổng khoảng cách biến thể (khoảng cách ), dường như không có bất kỳ giới hạn tốt nào liên quan đến . Tuy nhiên, khi sử dụng khoảng cách , tôi tin rằng có các ước tính tốt về là một hàm của . (Thật không may, tôi dường như không thể đào lên một tham chiếu cụ thể cho những ước tính / giới hạn, vì vậy tôi hy vọng tôi không misremembering.) Ngoài ra còn có giới hạn gọi cho phép bạn ước tính khoảng cách như một chức năng của khoảng cách . $D_1^n$ $D_2^n$ $L_1$ $||D_1^n - D_2^n||_1$ $||D_1 - D_2||_1$ $L_2$ $||D_1^n - D_2^n||_2$ $||D_1 - D_2||_2$ $L_1$ $L_2$
Do đó, một cách tiếp cận bạn có thể thử là bị ràng buộc , sau đó từ đó bị ràng buộc vào . $||D_1^n - D_2^n||_2$ $||D_1^n - D_2^n||_1$

Tôi không biết liệu điều này sẽ dẫn đến bất cứ nơi nào tốt hay không; nó chỉ là một ý tưởng Có lẽ các tác giả của bài báo mà bạn trích dẫn sẽ đã thử hoặc xem xét một cái gì đó như thế này.

Có thể tài liệu tham khảo hữu ích:

— DW
nguồn

Chào, cảm ơn cho câu trả lời của bạn! Tuy nhiên, tôi quan tâm đến giới hạn dưới tiệm cận, khi . Cụ thể, mối quan hệ giữa các chỉ tiêu và liên quan đến yếu tố - có nghĩa là chúng thực sự tương đương với hằng số, nhưng khác biệt rất khác nhau; sử dụng công cụ làm proxy không phải là một tùy chọn, theo như tôi có thể biết (như để kiểm tra mức độ gần gũi trong khoảng cách , độ phức tạp chính xác được biết là [BFR + 10 , Val11 ]

n \to \infty

$n\to\infty$

L_{2}

$L_2$

L_{1}

$L_1$

\sqrt{n}

$\sqrt{n}$

n

$n$

L_{1}

$L_1$

L_{1}

$L_1$

Θ (n^{2 / 3} / p o l y (ϵ))

$\Theta(n^{2/3}/{\rm{}poly}(\epsilon))$

— Clement C.

0

EDIT: điều này không chính xác! Xem các cuộc thảo luận trong các ý kiến - Tôi sẽ chỉ ra lỗ hổng dưới đây.

Tôi nghĩ rằng chúng ta có thể nói rằng là bắt buộc. $\frac{1}{\epsilon^4}$

Đặt . Đặt là phân phối đồng đều (xác suất của mỗi điểm ) và để khác với thống nhất bởi một lượng phụ gia tại mỗi điểm. Kiểm tra xem khoảng cách là . $n = \Theta\left(\frac{1}{\epsilon^2}\right)$ $D_1$ $= \Theta(\epsilon^2)$ $D_2$ $\pm \Theta\left(\epsilon^2\right)$ $L_2$ $\epsilon$

Vì vậy, chúng ta phải phân biệt một -sided đồng xu công bằng từ một -sided xu -biased. Tôi nghĩ rằng điều này ít nhất cũng khó như việc nói một đồng xu công bằng mặt từ một đồng xu có mặt , sẽ yêu cầu . Chỉnh sửa: điều này không chính xác! Đồng xu được cộng gộp thiên vị, nhưng nó được thiên vị nhân với một yếu tố không đổi. Như DW chỉ ra, điều đó có nghĩa là số lượng mẫu không đổi trên mỗi điểm sẽ phân biệt với . $n$ $n$ $\Theta(\epsilon^2)$ $2$ $2$ $\Theta(\epsilon^2)$ $\Theta\left(\frac{1}{(\epsilon^2)^2}\right) = \Theta\left(\frac{1}{\epsilon^4}\right)$ $\epsilon^2$ $D_1$ $D_2$

Lưu ý rằng là đến mức chúng ta có thể đẩy dòng đối số này. Cụ thể, giả sử chúng tôi đã cố gắng tăng lên, giả sử, . Trong phân phối đồng đều, mỗi điểm có xác suất . Nhưng trong , chúng tôi cần mỗi điểm thay đổi so với đồng phục theo . Điều đó là không thể vì . $\frac{1}{\epsilon^4}$ $n$ $\frac{1}{\epsilon^3}$ $\epsilon^3$ $D_2$ $\epsilon^{2.5}$ $\epsilon^{2.5} \gg \epsilon^3$

Tóm tắt hơn, giả sử chúng ta muốn mỗi điểm thay đổi so với đồng phục theo . Sau đó, phần lớn chúng ta có thể đặt thành sẽ là . Để có được khoảng cách của , chúng ta cần thỏa mãn rằng căn bậc hai của tổng khoảng cách là , vì vậy , vì vậy nên và chúng tôi nhận được . $\epsilon^k$ $n$ $\frac{1}{\epsilon^k}$ $L_2$ $\epsilon$ $\epsilon$ $\sqrt{n(\epsilon^k)^2} = \epsilon$ $\epsilon^{k/2} = \epsilon$ $k = 2$ $n = \frac{1}{\epsilon^2}$

Ngoài ra, tôi nghĩ rằng lập luận tương tự nói rằng, nếu chúng ta quan tâm đến khoảng cách với , chúng tôi yêu cầu , vì vậy chúng tôi sẽ chọn , vì vậy số lượng mẫu sẽ là . Tôi nghĩ rằng điều này có ý nghĩa như là một ràng buộc độc lập với . Nó tiếp cận vô hạn như . Nếu bạn đang cố gắng phân biệt hai bản phân phối ở khoảng cách của mà không bị ràng buộc với , tôi sẽ làm cho lớn không giới hạn và phân tán sự khác biệt mỏng tùy ý, vì vậy bạn không bao giờ có thể phân biệt được chúng ( $L_p$ $p > 1$ $k = \frac{p}{p-1}$ $n = 1/\epsilon^{\frac{p}{p-1}}$ $1 / \epsilon^{2\frac{p}{p-1}}$ $n$ $p \to 1$ $L_1$ $\epsilon$ $n$ $n$ tức là không có số lượng mẫu cố định đủ cho tất cả ). Nó cũng tiếp cận dưới dạng ; điều này có ý nghĩa như là một ràng buộc bởi vì, đối với định mức , chúng ta có thể đặt và để mọi điểm khác nhau bởi ; chúng ta cần lấy mẫu một số điểm lần để chắc chắn rằng nó khác với đồng phục, sẽ lấy các mẫu . $n$ $\frac{1}{\epsilon^3}$ $p \to \infty$ $L_{\infty}$ $n = \frac{1}{\epsilon}$ $\Theta(\epsilon)$ $\frac{1}{\epsilon^2}$ $\frac{1}{\epsilon^3}$

— sử dụng
nguồn

1. Bạn có thực sự muốn nói rằng khác với đồng phục bởi tại mỗi điểm không? Tôi nghi ngờ đó là một lỗi đánh máy và bạn có nghĩa là .

D_{2}

$D_2$

\pm 1 / ϵ^{2}

$\pm 1/\epsilon^2$

\pm ϵ^{2}

$\pm \epsilon^2$

— DW

1

2. Tôi không mua phân biệt với yêu cầu mẫu. Có vẻ như tôi mẫu là đủ. Giải thích (trực giác): giả sử chúng tôi thu thập mẫu và đếm số lần mỗi giá trị có thể xảy ra. Nếu chúng đến từ , mỗi lần xuất hiện 100 lần (với std dev 10). Nếu chúng đến từ , mỗi lần xuất hiện 200 lần (std dev 14) cho một nửa trong số chúng, / 0 lần (std dev 0) cho nửa còn lại. Điều đó đủ dễ để phân biệt giữa hai người, nếu bạn biết bạn đang giao dịch với hoặc .

D_{1}

$D_1$

D_{2}

$D_2$

1 / ϵ^{4}

$1/\epsilon^4$

Θ (1 / ϵ^{2})

$\Theta(1/\epsilon^2)$

m = 100 / ϵ^{2}

$m=100/\epsilon^2$

D_{1}

$D_1$

D_{2}

$D_2$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW (1) bạn đúng! Đã sửa. (2) Khi bạn nói, tôi đồng ý, nhưng tôi nghĩ với các lựa chọn khác nhau của hằng số thì khó hơn. Tôi đang hình dung một cái gì đó như thế này: , vì vậy đặt xác suất cho mỗi điểm. Sau đó, khác nhau trên mỗi điểm (kiểm tra xem khoảng cách là ), do đó, nó đặt xác suất hoặc cho mỗi điểm.

n = 1 / 100 ϵ^{2}

$n = 1/100\epsilon^2$

D_{1}

$D_1$

100 ϵ^{2}

$100\epsilon^2$

D_{2}

$D_2$

10 ϵ^{2}

$10\epsilon^2$

L_{2}

$L_2$

ϵ

$\epsilon$

90 ϵ^{2}

$90\epsilon^2$

110 ϵ^{2}

$110\epsilon^2$

— usul

1

Tôi nghĩ các mẫu vẫn đủ. Tập hợp các mẫu và đếm số lần mỗi giá trị có thể xảy ra. Đối với , mỗi lần xảy ra 1.000.000 lần (std dev ). Đối với , mỗi lần xuất hiện 900.000 lần (std dev ) hoặc 1.100.000 lần (std dev ). Điều đó đủ dễ để phân biệt giữa hai loại, nếu chúng ta biết chúng ta đang giao dịch với hoặc , bởi vì sự khác biệt giữa 1.000.000 và 1.100.000 là 100 độ lệch chuẩn, nghĩa là rất lớn.

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

m = 10^{6} n

$m=10^6n$

D_{1}

$D_1$

1000

$1000$

D_{2}

$D_2$

\approx 1000

$\approx 1000$

\approx 1000

$\approx 1000$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW Tôi nghĩ về nó nhiều hơn - bạn nói đúng. Nếu phương tiện của chúng khác nhau bởi một hệ số nhân không đổi thì một số lượng mẫu không đổi trên mỗi điểm sẽ phân biệt chúng. Đó là yếu tố nhân không phải là phụ gia. Cách tiếp cận này sau đó chỉ đưa ra giới hạn dưới .

1 / ϵ^{2}

$1/\epsilon^2$

— usul