Bất đẳng thức kiểu Chernoff cho biến ngẫu nhiên với 3 kết quả

Giả sử chúng ta có một biến ngẫu nhiên lấy các giá trị không phải là số a, b, c và muốn định lượng cách phân phối theo kinh nghiệm của mẫu của biến này lệch khỏi phân phối thực. Bất đẳng thức sau (từ Cover & Thomas ) áp dụng trong trường hợp này.$n$

Định lý 12.4.1 (định lý Sanov của): Hãy là iid ~ Q ( x ) . Hãy để E ⊆ P là một tập hợp các phân bố xác suất. Sau đó, Q n ( E ) = Q n ( E ∩ P n ) ≤ ( n + 1 ) | X | 2 - n D ( P * $X_1, X_2, \ldots, X_n$$\sim Q(x)$
$E \subseteq \mathscr{P}$ nơiP*=arg min P ∈ E D(P||Q), là phân phối trongErằng là gần gũi nhất vớiQtrong entropy tương đối.

$$Q^n(E) = Q^n(E \cap \mathscr{P}_n) \leq (n+1)^{|\mathcal{X}|}2^{-nD(P^*||Q)},$$ $$P^* = \arg\min_{P \in E} D(P||Q),$$ $E$$Q$

Bất đẳng thức này khá lỏng lẻo đối với nhỏ . Đối với kết quả nhị phân, | X | = 2 , và ràng buộc Chernoff-Hoeffding chặt chẽ hơn nhiều.$n$$|\mathcal{X}|=2$

Có một ràng buộc chặt chẽ tương tự cho ?$|\mathcal{X}|=3$

$Y_{ij}$$X_i = j$$1 \le i \le n$$1 \le j \le 3$$j$$Y_{ij}$$\sum_i Y_{ij}$$j$

Nếu những điều trên không đủ, tôi khuyên bạn nên nhìn vào mô hình quả bóng và thùng, ví dụ như trong sách giáo khoa của Upfal và Mitzenmacher. Mô hình đó giống như của bạn ngoại trừ một số thùng của bạn có thể có nhiều khả năng hơn những quả bóng khác có trong đó, phải không? Có một số kỹ thuật phức tạp hơn liên quan đến các xấp xỉ Poisson trong mô hình đó có khả năng có thể mở rộng đến cài đặt của bạn với xác suất bin không đồng nhất.

$X_1,\ldots,X_n$$0 \leq X_i \leq 1$