Có thuộc tính phân phối nào mà cực kỳ khó kiểm tra không?

Thuật toán thử nghiệm phân phối cho thuộc tính phân phối P (chỉ là một tập hợp con của tất cả các phân phối trên [n]) được phép truy cập vào các mẫu theo một số phân phối D và được yêu cầu quyết định (whp) nếu hoặc ( ở đây thường là khoảng cách ). Thước đo phức tạp phổ biến nhất là số lượng mẫu được sử dụng bởi thuật toán. $D\in P$ $d(D,P)>\epsilon$ $d$ $\ell_1$

Bây giờ, trong kiểm tra thuộc tính tiêu chuẩn, nơi bạn có quyền truy cập truy vấn vào một đối tượng nào đó, giới hạn truy vấn thấp hơn tuyến tính rõ ràng là giới hạn dưới mạnh nhất có thể, vì truy vấn sẽ tiết lộ toàn bộ đối tượng. Đây có phải là trường hợp để thử nghiệm phân phối là tốt? $n$

Theo như tôi hiểu, giới hạn trên "tầm thường" đối với các thuộc tính thử nghiệm của các bản phân phối là --- bởi giới hạn của Chernoff, điều này đủ để "ghi lại" một bản phân phối D 'gần với D trong khoảng cách , và sau đó chúng ta có thể kiểm tra xem có bất kỳ phân phối nào gần với D 'trong P không (điều này có thể mất thời gian vô hạn, nhưng điều này không liên quan đến độ phức tạp của mẫu). $O(n^2\log n)$ $\ell_1$

Có một thử nghiệm "tầm thường" tốt hơn cho tất cả các thuộc tính phân phối?
Có bất kỳ thuộc tính phân phối nào mà chúng ta biết giới hạn mẫu mạnh hơn tuyến tính không?

— Yonatan
nguồn

có vẻ tương tự như việc chứng minh sự phân tách lớp phức tạp và giống như nó có thể gần với một số vấn đề mở đã biết ...?

— vzn

Chỉ cần nhìn thấy điều này ... Tôi không chắc chắn làm thế nào bạn có được bị ràng buộc , nhưng lưu ý rằng thực sự học phân phối (trên miền có kích thước ) cho khoảng cách TV / với xác suất thực sự có thể được thực hiện với các mẫu (và điều này là chặt chẽ). Vì vậy, trừ khi bạn đang xem xét các giá trị không cố định của tham số lân cận , không có bất kỳ hy vọng nào có được giới hạn thấp hơn ...

O (n^{2} \log n)

$O(n^2\log n)$

n

$n$

ℓ_{1}

$\ell_1$

ε

$\varepsilon$

2 / 3

$2/3$

O (n / ε^{2})

$O(n/\varepsilon^2)$

ε

$\varepsilon$

ω (n)

$\omega(n)$

— Clement C.

Xin lỗi vì đã làm sáng tỏ bài đăng này - nó khá cũ, nhưng tôi đoán rằng nó đã được trả lời có thể không phải là một ý tưởng tồi.

Đầu tiên, có vẻ như bạn đã thực hiện ràng buộc Chernoff của mình với một số cài đặt tham số hơi kỳ lạ. Lưu ý rằng để thực hiện đề nghị "thử nghiệm bằng cách học hỏi" của bạn tiếp cận, nó là đủ để tìm hiểu những phân phối trong tổng số khoảng cách biến thể (hoặc , nếu bạn thích, đó là lên cùng một yếu tố 2) để khoảng cách $\ell_1$ . (trước khi kiểm tra "ẩn" nếu có bất kỳ phân phốicó thuộc tínhmà chính nó là ở khoảng cách tối đa là $\frac{\varepsilon}{2}$ $p'$ $\mathcal{P}_n$ từ bạn học giả thuyết ). Điều này sẽ ngây thơ dẫn đến một $\frac{\varepsilon}{2}$ $\hat{p}$ độ phức tạp mẫu giới hạn trên cho phương pháp này; Tuy nhiên, nó được biết đến (và "văn hóa dân gian") rằng việc học một phân phối tùy ý trên một lĩnh vực kích thướclên đến khoảng cách(trong tổng số khoảng cách dao động) có thể được thực hiện với chỉ $O\big(\frac{n\log n}{\varepsilon^2}\big)$ $n$ $\varepsilon$ mẫu (và điều này là chặt chẽ). $O(\frac{n}{\varepsilon^2})$

Vì vậy, đường cơ sở nên thực sự là , đó là đã tuyến tính trong. Bây giờ, người ta có thể đặt câu hỏi tiếp theo -có các thuộc tính "tự nhiên" nào cho việc kiểm tra (giả sử cho hằng số) yêu cầu sự phụ thuộc tuyến tính trong kích thước miềnkhông? $O(\frac{n}{\varepsilon^2})$ $n$ $\varepsilon$ $n$

Câu trả lời là (theo như tôi biết) "không hoàn toàn, nhưng gần gũi." Cụ thể, sau một dòng công việc quan trọng về ước tính các thuộc tính của phân phối (hoặc tương đương, kiểm tra thuộc tính khoan dung), kết quả của Valiant và Valiant ngụ ý (STOCS'11, FOCS'11 và một số khác) rằng tài sản khá bị chiếm đoạt "là -close để thống nhất" có mẫu phức tạp $1/10$ . $\Theta_\varepsilon(\frac{n}{\log n})$

(Lưu ý rằng đó là một chút "gian lận", theo nghĩa là tài sản chỉ đơn giản là một cách để đưa ra một câu hỏi kiểm tra khoan dung và đặt lại tên đó là kiểm tra một tài sản ad hoc ).

Nếu điều đó không hoàn toàn đủ để làm dịu cơn khát của bạn, người ta cũng có thể chỉ ra rằng đối với thuộc tính (tự nhiên?) Của "là một biểu đồ " (là hằng số phân phối trên một tập hợp các khoảng chưa biết?), Đặt ví dụ cũng dẫn đến một $k$ $k$ $k=n/10$ ràng buộc thấp hơn(nó nằm trong một bài báo của tôi từ năm 2016; giới hạn dưới theo sau việc giảm khá đơn giản đối với kết quả của Valiants). Bây giờ, cho dù bạn xem xét "là một $\Omega(\frac{n}{\log n})$ -histogram "để trở thành một tài sản tự nhiên là tùy thuộc vào bạn. $\frac{n}{100}$

— Clement C.
nguồn