Kiểm tra giả thuyết và tổng khoảng cách biến đổi so với phân kỳ Kullback-Leibler

Trong nghiên cứu của tôi, tôi đã gặp phải vấn đề chung sau: Tôi có hai phân phối và trên cùng một miền và một số lượng lớn (nhưng hữu hạn) các mẫu từ các phân phối đó. Các mẫu được phân phối độc lập và giống hệt nhau từ một trong hai phân phối này (mặc dù các phân phối có thể liên quan: ví dụ: có thể là hỗn hợp của và một số phân phối khác.) Giả thuyết null là các mẫu đến từ , giả thuyết thay thế là mẫu đến từ . $P$ $Q$ $Q$ $P$ $P$ $Q$

Tôi cố gắng để đặc trưng cho loại I và loại II sai sót trong kiểm tra mẫu, biết phân phối và . Đặc biệt, tôi đang quan tâm đến bounding một lỗi cho người khác, ngoài các kiến thức về và . $P$ $Q$ $P$ $Q$

Tôi đã hỏi một câu hỏi về math.SE liên quan đến mối quan hệ của khoảng cách Tổng biến đổi giữa và với kiểm tra giả thuyết và nhận được câu trả lời mà tôi chấp nhận. Câu trả lời đó có ý nghĩa, nhưng tôi vẫn chưa thể hiểu được ý nghĩa sâu xa hơn đằng sau mối quan hệ của khoảng cách Tổng biến đổi và kiểm tra giả thuyết vì nó liên quan đến vấn đề của tôi. Vì vậy, tôi quyết định chuyển sang diễn đàn này. $P$ $Q$

Câu hỏi đầu tiên của tôi là: tổng biến thể có bị ràng buộc vào tổng xác suất của lỗi Loại I và Loại II không phụ thuộc vào phương pháp kiểm tra giả thuyết mà người ta sử dụng không? Về bản chất, miễn là có một xác suất khác không mà mẫu có thể được tạo ra bởi một trong các phân phối, thì xác suất của ít nhất một trong các lỗi phải khác không. Về cơ bản, bạn không thể thoát khỏi khả năng người kiểm tra giả thuyết của bạn sẽ mắc lỗi, bất kể bạn xử lý tín hiệu bao nhiêu. Và tổng biến thể giới hạn khả năng chính xác. Tôi hiểu có đúng không?

$P$ $Q$

Và câu hỏi cơ bản của tôi là: có một tập hợp các tình huống được quy định khi tôi nên sử dụng một trong hai ràng buộc hay đó hoàn toàn là vấn đề thuận tiện? Khi nào thì kết quả thu được bằng cách sử dụng một ràng buộc sử dụng cái kia?

Tôi xin lỗi nếu những câu hỏi này là tầm thường. Tôi là một nhà khoa học máy tính (vì vậy đây có vẻ như là một vấn đề phù hợp với mô hình phù hợp với tôi :).) Tôi biết lý thuyết thông tin một cách hợp lý và cũng có nền tảng tốt nghiệp về lý thuyết xác suất. Tuy nhiên, tôi mới bắt đầu tìm hiểu tất cả những thứ kiểm tra giả thuyết này. Nếu cần, tôi sẽ cố hết sức để làm rõ câu hỏi của mình.

— MBM
nguồn

Câu trả lời:

Văn học: Hầu hết các câu trả lời bạn cần chắc chắn có trong cuốn sách của Lehman và Romano . Cuốn sách của Ingster và Suslina xử lý các chủ đề nâng cao hơn và có thể cung cấp cho bạn câu trả lời bổ sung.

$L_1$ $TV$ $n$ $L_1$

Phát triển: Hãy để chúng tôi biểu thị bằng

$g_1(\alpha_0,P_1,P_0)$ $\leq\alpha_0$ $P_0$ $P_1$
$g_2(t,P_1,P_0)$ $t$ $(1-t)$ $P_0$ $P_1$

$L_1$ $L_1$ $L_1$ $TV$

$L_1$ $\chi^2$ $P_1$ $P_0$ $P_i=p_i^{\otimes n}$ $i=0,1$ $p_1$ $p_0$ $n$ $h(P_1,P_0)$ $h(p_1,p_0)$ $KL$ $\chi^2$ $L_1$

$A_1(\nu_1,\nu_0)$ $\nu_1$ $\nu_2$

A_{1} (ν_{1}, ν_{0}) = \int min (d ν_{1}, d ν_{0})

$A_1(\nu_1,\nu_0)=\int \min(d\nu_1,d\nu_0)$

$|\nu_1-\nu_0|_1=\int|d\nu_1-d\nu_0|$

$2A_1(\nu_1,\nu_0)=\int (\nu_1+\nu_0)-|\nu_1-\nu_0|_1$
$g_1(\alpha_0,P_1,P_0)=\sup_{t\in [0,1/\alpha_0]} \left ( A_1(P_1,tP_0)-t\alpha_0 \right )$
$g_2(t,P_1,P_0)=A_1(t P_0,(1-t)P_1)$

Tôi đã viết bằng chứng ở đây .

$P_1$ $P_0$

\frac{1}{2} | P_{1} - P_{0} |_{1} \leq h (P_{1}, P_{0}) \leq \sqrt{K (P_{1}, P_{0})} \leq \sqrt{χ^{2} (P_{1}, P_{0})}

$\frac{1}{2}|P_1-P_0|_1\leq h(P_1,P_0)\leq \sqrt{K(P_1,P_0)} \leq \sqrt{\chi^2(P_1,P_0)}$

$h$ $K$ $\chi^2$ $L_1$

— cướp girard
nguồn

P_{0}

$P_0$

P_{1}

$P_1$

Và cảm ơn bạn đã gợi ý cuốn sách của Lehmann và Romano, nó có vẻ rất hữu ích và không quá nhiều so với đầu tôi. Ngoài ra, thư viện của tôi sở hữu một bản sao! :)

— MBM

A_{1}

$A_1$

g_{1}

$g_1$

g_{2}

$g_2$

A_{1}

$A_1$

\int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} | \frac{\exp (- x^{2} / 2 σ_{1}^{2})}{σ_{1}} - \frac{\exp (- x^{2} / 2 σ_{2}^{2})}{σ_{2}} | d x

$\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\left|\frac{\exp(-x^2/2\sigma^2_1)}{\sigma_1}-\frac{\exp(-x^2/2\sigma^2_2)}{\sigma_2}\right|dx$

A_{1}

$A_1$

\int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} min (\frac{\exp (- x^{2} / 2 σ_{1}^{2})}{σ_{1}}, \frac{\exp (- x^{2} / 2 σ_{2}^{2})}{σ_{2}}) d x

$\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\min\left(\frac{\exp(-x^2/2\sigma^2_1)}{\sigma_1},\frac{\exp(-x^2/2\sigma^2_2)}{\sigma_2}\right)dx$

\int (ν_{1} + ν_{2})

$\int (\nu_1+\nu_2)$

Trả lời câu hỏi đầu tiên của bạn: Có, một trừ đi tổng khoảng cách biến thể là giới hạn dưới của tổng tỷ lệ lỗi Loại I + Loại II. Giới hạn dưới này áp dụng cho dù bạn chọn thuật toán kiểm tra giả thuyết nào.

$A$

(Nói đúng ra, dòng lý luận này cho rằng kiểm tra giả thuyết của bạn là một thủ tục xác định. Nhưng ngay cả khi bạn xem xét các thủ tục ngẫu nhiên, có thể chỉ ra rằng cùng một ràng buộc vẫn được áp dụng.)

— DW
nguồn