Làm thế nào để lấy được hàm khả năng phân phối nhị thức cho ước lượng tham số?

22

Theo Xác suất và Thống kê dành cho Kỹ sư của Miller và Freund, 8ed (tr.217-218), chức năng khả năng được tối đa hóa để phân phối nhị thức (thử nghiệm Bernoulli) được đưa ra là

$L(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i}$

Làm thế nào để đến phương trình này? Nó có vẻ khá rõ ràng đối với tôi về các bản phân phối khác, Poisson và Gaussian;

$L(\theta) = \prod_{i=1}^n \text{PDF or PMF of dist.}$

Nhưng một cho nhị thức chỉ là một chút khác nhau. Để thẳng tiến, làm thế nào

$nC_x~p^x(1-p)^{n-x}$

trở nên

$p^{x_i}(1-p)^{1-x_i}$

trong chức năng khả năng trên?

— Ébe Isaac
nguồn

25

Trong ước tính khả năng tối đa, bạn đang cố gắng tối đa hóa ; tuy nhiên, tối đa hóa điều này tương đương với tối đa hóa cho một cố định . $nC_x~p^x(1-p)^{n-x}$ $p^x(1-p)^{n-x}$ $x$

Trên thực tế, khả năng cho gaussian và poisson cũng không liên quan đến hằng số hàng đầu của chúng, vì vậy trường hợp này cũng giống như những người như w

Địa chỉ bình luận OP

Dưới đây là một chi tiết hơn một chút:

Đầu tiên, là tổng số thành công trong khi là một thử nghiệm duy nhất (0 hoặc 1). Vì thế: $x$ $x_i$

Π_{tôi = = 1}^{n} p^{x_{tôi}} (1 - p)^{1 - x_{tôi}} = = p^{Σ_{1}^{n} x_{tôi}} (1 - p)^{Σ_{1}^{n} 1 - x_{tôi}} = = p^{x} (1 - p)^{n - x}

$\prod_{i=1}^np^{x_i}(1-p)^{1-x_i} = p^{\sum_1^n x_i}(1-p)^{\sum_1^n1-x_i} = p^{x}(1-p)^{n-x}$

Điều đó cho thấy cách bạn có được các yếu tố trong khả năng (bằng cách chạy ngược các bước trên).

Tại sao liên tục biến mất? Một cách không chính thức, và những gì hầu hết mọi người làm (bao gồm cả tôi), chỉ cần lưu ý rằng hằng số dẫn đầu không ảnh hưởng đến giá trị của mà tối đa hóa khả năng, vì vậy chúng tôi chỉ bỏ qua nó (đặt hiệu quả là 1). $p$

Chúng ta có thể rút ra điều này bằng cách lấy nhật ký của hàm khả năng và tìm vị trí đạo hàm của nó bằng 0:

\ln (n C_{x} p^{x} (1 - p)^{n - x}) = = \ln (n C_{x}) + x \ln (p) + (n - x) \ln (1 - p)

$\ln\left(nC_x~p^x(1-p)^{n-x}\right) = \ln(nC_x)+x\ln(p)+(n-x)\ln(1-p)$

$p$ $0$

\frac{d}{d p} \ln (n C_{x}) + x \ln (p) + (n - x) \ln (1 - p) = = \frac{x}{p} - \frac{n - x}{1 - p} = = 0

$\frac{d}{dp}\ln(nC_x)+x\ln(p)+(n-x)\ln(1-p) = \frac{x}{p}- \frac{n-x}{1-p} = 0$

⟹ \frac{n}{x} = = \frac{1}{p} ⟹ p = = \frac{x}{n}

$\implies \frac{n}{x} = \frac{1}{p} \implies p = \frac{x}{n}$

Lưu ý rằng hằng số hàng đầu đã bỏ qua tính toán của MLE.

$L_1,L_2$ $L_1=kL_2$ $p$

Ở mức độ thực tế, suy luận sử dụng hàm khả năng thực sự dựa trên tỷ lệ khả năng, chứ không phải giá trị tuyệt đối của khả năng. Điều này là do lý thuyết tiệm cận về tỷ lệ khả năng (là không bình phương chi bình phương - tùy thuộc vào một số điều kiện đều đặn thường phù hợp). Các thử nghiệm tỷ lệ khả năng được ưa chuộng do Bổ đề Neyman-Pearson . Do đó, khi chúng tôi thử kiểm tra hai giả thuyết đơn giản, chúng tôi sẽ lấy tỷ lệ và yếu tố hàng đầu chung sẽ hủy bỏ.

LƯU Ý: Điều này sẽ không xảy ra nếu bạn so sánh hai mô hình khác nhau, giả sử là nhị thức và phân đoạn. Trong trường hợp đó, hằng số là quan trọng.

Trong số các lý do trên, việc đầu tiên (không liên quan đến việc tìm tối đa hóa L) hầu hết trả lời trực tiếp câu hỏi của bạn.

2

n C_{x}

$nC_x$

n

$n$

@ ÉbeIsaac đã thêm một số chi tiết

2

xi trong sản phẩm đề cập đến từng thử nghiệm cá nhân. Đối với mỗi thử nghiệm riêng lẻ xi có thể là 0 hoặc 1 và n luôn bằng 1. Do đó, một cách tầm thường, hệ số nhị thức sẽ bằng 1. Do đó, trong công thức sản phẩm có khả năng, tích của các hệ số nhị thức sẽ là 1 và do đó không có nCx trong công thức. Nhận ra điều này trong khi thực hiện từng bước :) (Xin lỗi về định dạng, không được sử dụng để trả lời bằng các biểu thức toán học trong câu trả lời ... chưa :))

— Abhishek Tiwari
nguồn