Khả năng tối đa không phải là bất biến tái tham số. Vậy làm thế nào người ta có thể biện minh cho việc sử dụng nó?

Có điều gì đó làm tôi bối rối về các công cụ ước tính khả năng tối đa. Giả sử tôi có một số dữ liệu và khả năng theo tham số là$\mu$

$$L(D|\mu) = e^{-(.7-\mu)^2}$$

có thể nhận ra là khả năng của Gaussian lên tới tỷ lệ. Bây giờ công cụ ước tính khả năng tối đa của tôi sẽ cho tôi $\mu=.7$ .

Bây giờ, giả sử tôi không biết điều đó và thay vào đó đang làm việc với một tham số $t$ sao cho $\mu=\sin(t)$ . Cũng giả sử tất cả những thứ này là số và vì vậy tôi sẽ không thấy ngay khả năng ngớ ngẩn sau đây trông như thế nào

$$L(D|t) = e^{-(.7-\sin(t))^2}$$

Bây giờ tôi sẽ giải quyết cho khả năng tối đa và nhận được giải pháp bổ sung. Để giúp nhìn thấy điều này, tôi vẽ nó dưới đây.

Vì vậy, từ quan điểm này, khả năng tối đa có vẻ như là một điều ngớ ngẩn để làm vì nó không phải là bất biến tái tham số . Tôi đang thiếu gì?

Lưu ý rằng một phân tích Bayes đương nhiên sẽ quan tâm đến điều này vì khả năng sẽ luôn đi kèm với một biện pháp

$$L(D|\mu) P(\mu) d\mu = L(D|\mu(t)) P(\mu(t)) \frac{d\mu}{dt} dt$$

Đã thêm một phần sau khi trả lời và nhận xét (được thêm vào ngày 16/03/2018)

Sau đó tôi nhận ra rằng ví dụ của tôi ở trên không phải là một ví dụ tốt vì hai cực đại trong tương ứng với . Vì vậy, họ đang xác định cùng một điểm. Tôi đã giữ những điều trên để thảo luận và trả lời bên dưới để có ý nghĩa. Tuy nhiên, tôi nghĩ sau đây là một ví dụ tốt hơn về vấn đề tôi đang cố gắng tìm ra.$t_1,t_2$$.7=\sin(t_1)=\sin(t_2)$

Lấy

$$L(D|\mu) = e^{-(a-\mu)^2}$$

Bây giờ, giả sử tôi xác định lại thông số sau đó thực hiện tối đa khả năng đối với tôi nhận được$\mu=\mu(t)$$t$

$$\frac{\partial L}{\partial t} = \frac{\partial L}{\partial \mu} \frac{\partial \mu}{\partial t}$$

Nếu tôi muốn có một cực đại tại một địa điểm khác với địa điểm tôi nhận được từ việc tối đa hóa đối với tôi yêu cầu$\mu$

$$\frac{\partial L}{\partial \mu} \ne 0$$

và

$$\frac{\partial \mu}{\partial t} =0, \qquad \frac{\partial L}{\partial \mu} \frac{\partial^2 \mu}{\partial t^2} < 0$$

Vì vậy, tôi có thể lấy một ví dụ đơn giản

$$\mu = b - (a-b)t^2+t^3$$

Tôi vẽ kết quả dưới đây. Chúng ta có thể thấy rõ rằng là cực đại toàn cầu (và chỉ một khi tối đa hóa đối với ) nhưng chúng ta cũng có một cực đại cục bộ khác tại khi chúng ta tối đa hóa đối với .$\mu=a$$\mu$$t=0$$t$

Lưu ý rằng bản đồ không phải là tính từ nhưng tôi không hiểu tại sao nó phải như vậy. Ngoài ra, ít nhất trong ví dụ này, cực đại toàn cầu sẽ luôn là cực đại tại nhưng theo quan điểm thường xuyên, tôi sẽ không bị buộc phải lấy một loại trung bình có trọng số là 1 / 1.6 của và .6 / 1.6 của (tương ứng với ) nếu tôi hoàn toàn làm việc trong không gian ?$\mu(t)$$\mu=a$$\mu=a$$\mu=b$$t=0$$t$

Nhìn vào biểu đồ của bạn, có vẻ như là một phỏng đoán khá hợp lý tại MLE (s) của . Chạy các giá trị đó thông qua hàm để quay lại kết quả trong hoặc , như bình thường. Vì vậy, không có bất đồng nào giữa MLE của và MLE (s) của .$\hat{t} \in \{0.7753975, 2.346194\}$$t$$\sin$$\mu$$\hat{\mu} = \{0.7, 0.7\}$$0.7$$\mu$$t$

Điều đang xảy ra là bạn đã tạo một bản đồ từ không phải là 1-1. Trong trường hợp này, giá trị thực của ánh xạ tới nhiều giá trị của , vì vậy không ngạc nhiên khi bạn sẽ có nhiều cực đại khi làm việc với . Tuy nhiên, lưu ý rằng điều này sẽ giống nhau nếu bạn đang thực hiện phân tích Bayes, trừ khi trước đó bạn bị hạn chế trong khoảng hoặc một số thứ khác. Nếu bạn đã làm như vậy, để so sánh, bạn nên giới hạn phạm vi MLE của trong cùng một phạm vi, trong trường hợp đó bạn sẽ không nhận được nhiều cực đại cho hàm khả năng nữa.$\mu \to t$$\mu$$t$$t$$t$$[-\pi/2, \pi/2)$$t$

ETA: Nhìn lại, tôi tập trung quá nhiều vào ví dụ giải thích và không đủ cho nguyên tắc cơ bản. Người ta khó có thể làm tốt hơn bình luận của @ whuber khi trả lời OP về vấn đề này.

Nói chung, nếu bạn có một tham số và một MLE liên kết và bạn xây dựng một hàm , bạn đã tạo ra một tham số thay thế một cách hiệu quả . MLE của , gắn nhãn nó , sẽ là các giá trị của sao cho , tức là . $\theta$$\hat{\theta}$$\theta = f(t)$$t$$t$$\hat{t}$$t$$f(t) = \hat{\theta}$$f(\hat{t}) = \hat{\theta}$

Vì câu trả lời trước của tôi không hoàn toàn rõ ràng về sự cần thiết của tính sinh học hay không (người ta có thể lập luận rằng câu trả lời của tôi hoàn toàn sai). Tôi đã thực hiện một số nghiên cứu về toàn bộ điều tái chế và đây là những gì tôi tìm ra. Cả @whuber và @jbowman đều chạm vào một số điều tương tự.

Học thuyết

Vì vậy, về mặt lý thuyết, công cụ ước tính khả năng tối đa của hàm khả năng , là bất biến đối với tham số lại. Vì vậy, giả sử bạn có một số hàm đã biết , tham số lại thành (trong đó kích thước của và không nhất thiết phải giống nhau). Sau đó, hai sự thật đúng,$\hat{\theta}$$L\left(\theta\right)$$g$$\theta$$\lambda=g(\theta)$$\theta$$\lambda$

• Tối đa hóa wrt. , nghĩa là tìm MLE, , và sau đó lặp lại nó, , mang lại MLE của . Nói tóm lại, .$L\left(\theta\right)$$\theta$$\hat{\theta}$$g(\hat{\theta})$$\hat{\lambda}$$\hat{\lambda}=g\left(\hat{\theta}\right)$
• Hơn nữa, nếu có nghịch đảo, tối đa hóa wrt. , nghĩa là tìm MLE mang lại mức tối đa giống như . Vậy MLE của là .$g$$L\left(g^{-1}(\lambda)\right)$$\lambda$$\hat{\lambda}$$\hat{\theta}$$\theta$$\hat{\theta}=g^{-1}\left(\hat{\lambda}\right)$

Việc chia bất biến trong hai trường hợp con này có vẻ hơi giả tạo, nhưng tôi thấy nó hữu ích vì chúng đại diện cho hai trường hợp sử dụng khác nhau của tái tham số.

Trong thực tế

Trường hợp sử dụng đầu tiên là nơi bạn bằng cách nào đó có thể xác định MLE cho một số tham số, nhưng bạn thực sự cần một biến đổi nhất định của biến đó. Ví dụ: bạn có một công cụ ước tính, cho tham số trong phân phối bình thường, nhưng bạn thực sự quan tâm đến MLE cho phương sai . Sau đó, bạn có thể sử dụng nguyên tắc bất biến và chỉ cần bình phương -MLE, .$\hat{\sigma},$$\sigma$$\sigma^{2}$$\sigma$$\hat{\sigma^{2}}=(\hat{\sigma})^{2}$

Một ví dụ cho trường hợp sử dụng thứ hai, là bạn có một thuật toán số, như độ dốc gốc hoặc Newton-Raphson, để tối đa hóa hàm khả năng. Giả sử, bạn muốn ước tính tham số từ một bản phân phối bình thường. Tham số này hoàn toàn tích cực theo định nghĩa, nhưng quy trình số không cho phép bạn thực hiện các ràng buộc. Vâng, bạn có thể sử dụng thuộc tính bất biến để thiết lập và để cho các thuật toán khác nhau thay vì , cách này đảm bảo rằng ở lại tích cực. Hàm mũ là tính từ, nhưng điều này không bắt buộc. Chúng tôi có thể đã sử dụng$\sigma^{2}$$\sigma^{2}=\exp(\lambda)$$\lambda$$\sigma^{2}$$\sigma^{2}$$\sigma^{2}=\lambda^{2}$ thay vào đó, đó không phải là tính từ. Nhưng sử dụng một bijection là thực tế hơn, vì chúng ta có thể đi từ đến và trở lại theo cách độc đáo.$\sigma^{2}$$\lambda$

Các thủ tục

Để xác định MLE của chính thức hơn, chúng ta cần xác định hàm được gọi là hàm khả năng hồ sơ là,$\lambda$

$$L^{\ast}(\lambda)=\sup_{\theta\vert\lambda=g\left(\theta\right)}L\left(\theta\right).$$

Vì vậy, đối với một định giá trị giá trị khả năng của cấu hình, là tối cao trên tất cả các để đảm bảo rằng bằng .$\lambda$$\theta$$g\left(\theta\right)$$\lambda$

Với khả năng hồ sơ được xác định, sau đó chúng tôi có thể xác định MLE cho , ký hiệu là , là giá trị tối đa hóa .$\lambda$$\hat{\lambda}$$L^{\ast}\left(\lambda\right)$

Với những định nghĩa này, sự bất biến của tái tham số hóa sôi sục đến,

$$L^{\ast}\left(\hat{\lambda}\right)=L\left(\hat{\theta}\right)$$

có thể được chứng minh bằng,

$$L^{\ast}\left(\hat{\lambda}\right)=\max_{\lambda}L^{\ast}\left(\lambda\right)=\max_{\lambda}\sup_{\theta\vert\lambda=g\left(\theta\right)}L\left(\theta\right)=\sup_{\theta}L\left(\theta\right)=\max_{\theta}L\left(\theta\right)$$

trong đó tôi đã giả sử rằng có mức tối đa.$L\left(\theta\right)$

Nếu tham số lại là một mệnh đề tức là không thể đảo ngược, thì chỉ đơn giản là vì mỗi ánh xạ duy nhất vào một và do đó, tối cao trên `` all '' 'chỉ sụp đổ thành duy nhất . Vì vậy, chúng tôi nhận được rằng,$L^{\ast}\left(\lambda\right)$$L(g(\theta))$$\theta$$\lambda$$\theta$$L(\theta)$

$$\begin{align*} L^{\ast}\left(\lambda\right) & =L\left(g\left(\theta\right)\right)\\ L^{\ast}\left(g^{-1}(\lambda)\right) & =L\left(\theta\right) \end{align*}$$ và do đó,

$$\hat{\theta}=g^{-1}\left(\hat{\lambda}\right).$$ Người giới thiệu:

Thuộc tính bất biến của MLE: MLE của của bình thường, gì?$\theta^2$$\bar{X}^2$

http://www.stats.ox.ac.uk/~dlunn/b8_02/b8pdf_6.pdf

http://www.stat.unc.edu/facemony/cji/lecture7.pdf

https://en.wikipedia.org/wiki/Maximum_likabilities_estimation#Factoral_invariance