Phân phối xác suất và độ phức tạp tính toán

Câu hỏi này là về giao điểm của lý thuyết xác suất và độ phức tạp tính toán. Một quan sát chính là một số bản phân phối dễ tạo hơn các bản phân phối khác. Ví dụ: vấn đề

Cho một số $n$ , trả lại một số phân bố đều $i$ với $0 \leq i < n$ .

là dễ dàng để giải quyết. Mặt khác, vấn đề sau đây có vẻ khó hơn nhiều.

Cho một số $n$ , trả về một số $i$ sao cho $i$ là (số Gdel của) một bằng chứng hợp lệ về độ dài n trong số học Peano. Hơn nữa, nếu số lượng bằng chứng như vậy là $pr(n)$ , thì xác suất để có được bất kỳ bằng chứng cụ thể nào về độ dài $n$ phải là $\frac{1}{pr(n)}$ .

Điều này cho tôi thấy rằng các phân phối xác suất đi kèm với một khái niệm về độ phức tạp tính toán. Hơn nữa, sự phức tạp này có lẽ liên quan chặt chẽ đến các vấn đề quyết định tiềm ẩn (cho dù là đệ quy phụ, ví dụ $P$ , $EXP$ , đệ quy, liệt kê đệ quy hoặc tệ hơn).

Câu hỏi của tôi là: làm thế nào để xác định độ phức tạp tính toán của các phân phối xác suất, đặc biệt là khi vấn đề quyết định cơ bản không thể quyết định được. Tôi chắc chắn điều này đã được điều tra rồi, nhưng tôi không biết phải tìm ở đâu.

— Martin Berger
nguồn

Một ví dụ thú vị khác (nhưng có thể quyết định được) là biến đổi phạm vi lượng tử. Cho trả về một số sao cho xác suất của tỷ lệ thuận với, .

f (k) = a^{k} \mod b

$f(k)=a^k \mod b$

l \in [0, N]

$l \in [0,N]$

l

$l$

| F (l) |

$\left|F(l)\right|$

F (l) = \sum_{k = 0}^{N} f (k) e^{- 2 π i k l / N}

$F(l) = \sum_{k=0}^N f(k) e^{-2\pi ikl/N}$

— Logic lang thang

Cả hai ví dụ của bạn là phân phối thống nhất rời rạc. Tôi sẽ tưởng tượng sự phức tạp khác nhau sẽ khó như thế nào khi đếmtrong đó là hỗ trợ.

| χ |

$|\chi|$

χ

$\chi$

— Nicholas Mancuso

@NicholasMancuso Tôi đồng ý rằng luôn luôn có thể sử dụng tính năng + không phù hợp. Vì vậy, trong một số ý nghĩa, nó đưa ra một giới hạn trên. Đây có phải là tất cả những gì có thể nói? Trường hợp này trong tài liệu đã được điều tra?

— Martin Berger

@NicholasMancuso Các ví dụ tôi đưa ra là các bản phân phối thống nhất. Nhưng người ta có thể đặt câu hỏi tương tự về phân phối không đồng nhất. Người ta cũng có thể tự hỏi về các bản phân phối trên . Liên quan đến các bản phân phối rời rạc: prima facie, việc đếm dường như không đủ nói chung, bạn cũng cần có khả năng tạo phần tử thứ , sau khi bạn đã chọn một cách thống nhất . Điều đó nói rằng, nó có thể là trường hợp đếm là cốt lõi của vấn đề.

R

$\mathbb{R}$

i

$i$

i

$i$

— Martin Berger

@NikosM. Cảm ơn, nhưng liên kết đó cũng không nói gì về sự phức tạp của phân phối cơ bản. Tài liệu tham khảo nói về một sự biến đổi trên phân phối thống nhất. Nhưng sự chuyển đổi đó có thể khó / hoặc dễ tính toán.

ϕ

$\phi$

— Martin Berger

Sự phức tạp của phân phối xác suất xuất hiện đặc biệt trong nghiên cứu các vấn đề phân phối như DistNP trong lý thuyết phức tạp trường hợp trung bình của Levin .

Một phân phối là P-computable nếu hàm mật độ tích lũy của nó có thể được đánh giá trong thời gian đa thức.

Một phân phối là P-samplable nếu chúng ta có thể lấy mẫu từ chúng trong thời gian đa thức.

Nếu một bản phân phối là P-computable thì đó là P-sampable. Điều ngược lại là không đúng nếu tồn tại một số chức năng một chiều.

Bạn có thể mở rộng các định nghĩa cho các lớp phức tạp khác.

Oded Goldreich có một ghi chú giới thiệu hay về chủ đề mà bạn có thể muốn kiểm tra.

— Kaveh
nguồn

Cảm ơn, tôi nghĩ rằng một lý thuyết về phân phối -samplable giống như những gì tôi đang tìm kiếm. Nhưng không có lý do gì để hạn chế sự chú ý đến , bạn có thể định nghĩa các bản phân phối -samplable cho bất kỳ lớp phức tạp nào . Với sự gia tăng gần đây của các ngôn ngữ lập trình xác suất đang trở nên quan trọng.

P

$P$

P

$P$

C

$C$

C

$C$

— Martin Berger

@Martin, vâng. Có một hướng dẫn về Lập trình Xác suất ( slide , video cũng sẽ được đăng) tại NIPS 2015. Tôi nghe nói những người tham dự thấy nó rất thú vị. Rất vui khi thấy những người làm việc tại ngã tư ML / Thống kê và PL. :)

— Kaveh

Có, và vấn đề chính là các ngôn ngữ như vậy (= bộ lấy mẫu chung, lập trình) chậm. Làm thế nào chúng ta có thể tăng tốc chúng?

— Martin Berger