Giá trị dự kiến của ước tính tham số xu khả năng tối đa

Giả sử tôi có một thử nghiệm tung đồng xu, trong đó tôi muốn tính toán ước tính khả năng tối đa của tham số đồng xu khi tung đồng xu lần. Sau khi tính đạo hàm của hàm khả năng nhị thức , tôi nhận được giá trị tối ưu cho là , với là số lần thành công. $p$ $n$ $L(p) = { n \choose x } p^x (1-p)^{n-x}$ $p$ $p^{*} = \frac{x}{n}$ $x$

Câu hỏi của tôi bây giờ là:

Làm cách nào để tính giá trị / phương sai dự kiến của ước tính khả năng tối đa này cho $p$ ?
Tôi có cần tính giá trị / phương sai dự kiến cho $L(p^{*})$ không?
Nếu có, làm thế nào tôi làm điều đó?

— Manu
nguồn

Tôi đoán đây là một kiểu tự học (bạn nên gắn thẻ như vậy). Chính xác thì bạn muốn gì? Làm suy luận về tham số của bạn?

— pkofod

Bạn có ý nghĩa gì về suy luận về tham số? Tôi khá không chắc chắn làm thế nào tôi sẽ tính giá trị / phương sai dự kiến cho số lượng

p^{*}

$p^{*}$ . Ý tôi là, tôi biết ý nghĩa / phương sai là gì và cách tính nó cho các ví dụ đơn giản, nhưng không hiểu cách áp dụng nó cho

p^{*}

$p^{*}$ .

— Manu

Câu trả lời:

Trước hết đây là một câu hỏi tự học, vì vậy tôi sẽ đi sâu vào từng chi tiết kỹ thuật nhỏ, nhưng tôi cũng sẽ không phát điên. Có rất nhiều cách để làm điều này. Tôi sẽ giúp bạn bằng cách sử dụng các thuộc tính chung của công cụ ước tính khả năng tối đa.

Thông tin lai lịch

Để giải quyết vấn đề của bạn, tôi nghĩ bạn cần nghiên cứu khả năng tối đa ngay từ đầu. Bạn có thể đang sử dụng một số loại sách giáo khoa, và câu trả lời nên thực sự ở đâu đó. Tôi sẽ giúp bạn tìm ra những gì cần tìm.

Khả năng tối đa là một phương pháp ước tính, về cơ bản là cái mà chúng ta gọi là công cụ ước lượng M (nghĩ về "M" là "tối đa hóa / tối thiểu hóa"). Nếu các điều kiện cần thiết để sử dụng các phương thức này được thỏa mãn, chúng tôi có thể chỉ ra rằng các ước tính tham số là nhất quán và phân phối bình thường không có triệu chứng, vì vậy chúng tôi có:

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1} B_{0} A_{0}^{- 1}),

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}B_0A_0^{-1}),$

trong đó và là một số ma trận. Khi sử dụng khả năng tối đa, chúng tôi có thể chỉ ra rằng và do đó chúng tôi có một biểu thức đơn giản: Chúng ta có trong đó biểu thị cho hessian. Đây là những gì bạn cần ước tính để có được phương sai của bạn. $A_0$ $B_0$ $A_0=B_0$

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1}) .

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}).$

A_{0} \equiv - E (H (θ_{0}))

$A_0\equiv -E(H(\theta_0))$

H

$H$

Vấn đề cụ thể của bạn

Vậy làm thế nào để chúng ta làm điều đó? Ở đây hãy gọi vectơ tham số của chúng tôi bạn làm gì: . Đây chỉ là một vô hướng, vì vậy "điểm số" của chúng tôi chỉ là đạo hàm và "hessian" chỉ là đạo hàm bậc hai. Hàm khả năng của chúng tôi có thể được viết là: đó là những gì chúng tôi muốn tối đa hóa. Bạn đã sử dụng đạo hàm đầu tiên của điều này hoặc khả năng đăng nhập để tìm của bạn . Thay vì đặt đạo hàm thứ nhất bằng 0, chúng ta có thể phân biệt lại, để tìm đạo hàm bậc hai . Đầu tiên chúng ta lấy nhật ký: Sau đó, 'điểm' của chúng tôi là: và 'hessian' của chúng tôi: $\theta$ $p$

l (p) = (p)^{x} (1 - p)^{n - x},

$l(p)=(p)^x (1-p)^{n-x},$

p^{*}

$p^*$

H (p)

$H(p)$

l l (p) \equiv \log (l (p)) = x \log (p) + (n - x) \log (1 - p)

$ll(p)\equiv\log(l(p))=x\log(p)+(n-x)\log(1-p)$

l l^{'} (p) = \frac{x}{p} + \frac{n - x}{1 - p},

$ll'(p)=\frac{x}{p}+\frac{n-x}{1-p},$

H (p) = l l^{″} (p) = - \frac{x}{p^{2}} - \frac{n - x}{(1 - p)^{2}} .

$H(p)=ll''(p)=-\frac{x}{p^2}-\frac{n-x}{(1-p)^2}.$ Sau đó, lý thuyết chung của chúng tôi từ trên chỉ cho bạn tìm . Bây giờ bạn chỉ cần lấy kỳ vọng của (Gợi ý: sử dụng ), nhân với và lấy nghịch đảo. Sau đó, bạn sẽ có phương sai của công cụ ước tính.

(- E (H (p)))^{- 1}

$(-E(H(p)))^{-1}$

H (p)

$H(p)$

E (x / n) = p

$E(x/n)=p$

- 1

$-1$

— pkofod
nguồn

Là có đúng không?

V a r (p) = \frac{p^{2} - 1}{n} - \frac{1}{n p}

$Var(p) = \frac{p^2-1}{n} - \frac{1}{np}$

— Manu

@Manu: Không hẳn, nhưng có vẻ như bạn vừa mắc một lỗi nhỏ ở đâu đó. Bạn có thể đăng thêm một số bước?

— pkofod

(- E (H (p)))^{- 1} = E (- H (p))^{- 1]} = (E (\frac{x}{p^{2}}) + E (\frac{n - x}{(1 - p)^{2}}))^{- 1} = (p^{- 2} n p + (1 - p)^{- 2} (n - n p))^{- 1}

$(-E(H(p)))^{-1} = E(-H(p))^{-1]} = (E(\frac{x}{p^2}) + E(\frac{n-x}{(1-p)^2}))^{-1} = ( p^{-2}np + (1-p)^{-2}(n -np) )^{-1}$ . từ đó tôi đơn giản hóa bằng cách nhân và lấy nghịch đảo.

— Manu

Đó là tất cả chính xác, bây giờ chỉ cần đơn giản hóa. Trong phần đầu tiên p hủy bỏ, và trong phần thứ hai, bạn có thể đưa n ra ngoài dấu ngoặc đơn.

— pkofod

(n / p + n / [1 - p])^{- 1}

$(n/p+n/[1-p])^{-1}$ là những gì bạn có ở trên. Chỉ cần yếu tố ra, đặt vào mẫu số chung và sau đó lấy đối ứng.

n

$n$

— ekvall

Để bắt đầu, hãy thực hiện giá trị mong đợi:

Nếu là số lần thành công trong ném, thì là tỷ lệ thành công trong mẫu của bạn. Xem xét ; với mỗi lần ném, xác suất thành công là theo các giả định, vì vậy khi tung đồng xu một lần, "số lần thành công" dự kiến là , phải không? Do đó, nếu bạn ném đồng xu lần, bạn sẽ mong đợi lần thành công vì các lần ném là độc lập. Sau đó, vì là số lần thành công dự kiến trong ném, bạn nhận được $x$ $n$ $x/n$ $\mathbb{E}x$ $p$ $p\times1+(1-p)\times 0=p$ $n$ $np$ $np$ $n$

E p^{*} = = E n^{- 1} x = = n^{- 1} E x = = n^{- 1} \times n p = = p

$\mathbb{E}p^*=\mathbb{E}n^{-1}x=n^{-1}\mathbb{E}x=n^{-1}\times np=p$

Vì vậy, công cụ ước tính là không thiên vị. Bạn có thể tìm cách làm phương sai từ đây không?

Chỉnh sửa: Chúng ta cũng làm phương sai. Chúng tôi sử dụng . Thuật ngữ thứ hai chúng ta đã có từ tính toán giá trị mong đợi, vì vậy hãy thực hiện đầu tiên: Để đơn giản hóa một số , chúng ta có thể biểu thị số lần thành công trong ném như sau: trong đó lấy giá trị 1 nếu ném là thành công và 0 khác. Do đó, và vì vậy, đặt mọi thứ lại với nhau, bạn đến . $\text{Var}(p^*)=\mathbb{E}p{^*}^2-(\mathbb{E}p{^*})^2$

E p {^{*}}^{2} = = n^{- 2} E x^{2}

$\mathbb{E}p{^*}^2=n^{-2}\mathbb{E}x^2$

n

$n$

x = = Σ_{1}^{n} χ_{Tôi},

$x=\sum_1^n\chi _i,$

χ_{i}

$\chi_i$

i

$i$

E x^{2} = = E (Σ_{1}^{n} χ_{Tôi})^{2} = = E [Σ_{1}^{n} χ_{Tôi}^{2} + 2 \underset{Tôi < j}{Σ} χ_{Tôi} χ_{j}] = = n p + n (n - 1) p^{2},

$\mathbb{E}x^2=\mathbb{E}(\sum_1^n\chi _i)^2=\mathbb{E}[\sum_1^n\chi _i^2+2\sum_{i<j}\chi _i\chi_j]=np+n(n-1)p^2,$

Var (p^{*}) = = \frac{p (1 - p)}{n}

$\text{Var}(p^*)=\frac{p(1-p)}{n}$

— ekvall
nguồn

Nếu bạn ném đầu liên tiếp, . Tuy nhiên, giá trị chính xác nào Var ( ) sẽ nhận?

n = 3

$n=3$

p_{M L E} = 1.0

$p_{MLE} =1.0$

p^{*}

$p^*$

— piccolo

Giá trị dự kiến ​​của ước tính tham số xu khả năng tối đa

Thông tin lai lịch

Vấn đề cụ thể của bạn

Giá trị dự kiến của ước tính tham số xu khả năng tối đa