Lý do trực quan tại sao Thông tin Fisher của Binomial tỷ lệ nghịch với

Nó nhầm lẫn / thổi vào tâm trí của tôi rằng Binomial có phương sai tỷ lệ thuận với $p(1-p)$ . Tương tự, thông tin Fisher tỷ lệ với $\frac{1}{p(1-p)}$ . Lý do cho điều này là gì? Tại sao Thông tin Fisher được thu nhỏ ở mức$p=0.5$? Đó là, tại sao suy luận khó nhất với$p=0.5$?

Bối cảnh:

Tôi đang làm việc trên một máy tính kích thước mẫu và công thức cho $N$ , kích thước mẫu cần thiết, là hệ số tăng của $p(1-p)$ , kết quả của ước lượng phương sai trong đạo hàm.

Để thấy, theo một cách trực quan, phương sai được tối đa hóa ở , lấy p bằng 0,99 (tương ứng p = 0,01 ). Sau đó, một mẫu từ X ∼ Bernoulli ( p ) có thể sẽ chứa nhiều 1 (s. 0 's) và chỉ một vài 0 (s. 1 ' s). Không có nhiều biến thể ở đó.$p = 0.5$$p$$0.99$$p = 0.01$$X \sim \text{Bernoulli}(p)$$1$$0$$0$$1$

Các suy luận là "cứng" cho 'ở giữa, bởi vì một mẫu với p gần giữa là phù hợp với một phạm vi rộng lớn hơn của p . Gần cuối, nó không thể ở quá xa - vì kết thúc là "rào cản" vượt quá mức mà p không thể đi.$p$$\hat p$$p$$p$

Tôi nghĩ rằng trực giác dễ dàng hơn khi nhìn vào các phương sai, mặc dù.

Trực giác về phương sai của một nhị thức lớn ở giữa và nhỏ ở hai đầu khá đơn giản: gần các điểm cuối không có chỗ cho dữ liệu "lan ra". Xem xét nhỏ - vì giá trị trung bình gần bằng 0, biến thể không thể lớn - đối với dữ liệu ở mức trung bình p, nó chỉ có thể nhận được rất xa so với giá trị trung bình.$p$$p$

Chúng ta hãy xem xét phương sai của một tỷ lệ mẫu trong một loạt các thử nghiệm Bernoulli. Dưới đây . Vì vậy, giữ n cố định và thay đổi p , biến thể nhỏ hơn nhiều đối với p gần 0:$\text{Var}(\hat p) = p(1-p)/n$$n$$p$$p$

Tỷ lệ mẫu trong các mẫu nhị thức - ở đây chỉ là thống nhất ngẫu nhiên; trường hợp màu xanh có nghĩa là 0,03, màu đen có nghĩa là 0,5 (một số jitter được thêm vào để các điểm không chồng chất quá nhiều và mất chi tiết) $y$

Các hàm xác suất tương ứng:

Trong mỗi trường hợp chú ý đến các dòng đánh dấu trung bình. Khi đường trung bình trở nên 'kẹt' hơn so với rào cản, các điểm bên dưới giá trị trung bình chỉ có thể có được một cách nhỏ bên dưới.

$p = \frac{1}{2}$

$\hat p$$p$

[Hình thức trực giác này không cho chúng ta biết lý do tại sao nó có dạng chức năng chính xác đó, nhưng nó làm rõ lý do tại sao phương sai phải nhỏ ở gần đầu và càng nhỏ càng gần đầu bạn đi.]

Thông tin Fisher là phương sai của hàm điểm. Và nó có liên quan đến entropy. Đối với một thử nghiệm Bernoulli, chúng tôi sẽ nhận được một bit cho mỗi thử nghiệm. Vì vậy, Thông tin Fisher này có các thuộc tính tương tự như Entropy Shannon, như chúng ta mong đợi. Cụ thể, entropy có tối đa là 1/2 và thông tin có tối thiểu là 1/2.