Ước tính MLE có bình thường và hiệu quả ngay cả khi mô hình không đúng?

Tiền đề: đây có thể là một câu hỏi ngu ngốc. Tôi chỉ biết các tuyên bố về tính chất tiệm cận MLE, nhưng tôi không bao giờ nghiên cứu các bằng chứng. Nếu tôi làm vậy, có lẽ tôi sẽ không hỏi những câu hỏi này, hoặc tôi có thể tôi sẽ nhận ra những câu hỏi này không có ý nghĩa gì ... vì vậy xin hãy dễ dàng với tôi :)

Tôi thường thấy các câu lệnh nói rằng công cụ ước tính MLE của các tham số của mô hình là không bình thường và hiệu quả. Tuyên bố thường được viết là

$\hat{\theta}\xrightarrow[]{d}\mathcal{N}(\theta_0,\mathbf{I}(\theta_0)^{-1})$ là $N\to\infty$

Trong đó $N$ là số lượng mẫu, $\mathbf{I}$ là thông tin Fisher và $\theta_0$ là giá trị đúng (vectơ) . Bây giờ, vì có tham chiếu đến một mô hình thực, điều này có nghĩa là kết quả sẽ không giữ nếu mô hình không đúng?

Ví dụ: giả sử tôi mô hình đầu ra công suất từ một tuabin gió $P$ như là một hàm của tốc độ gió $V$ cộng với nhiễu Gaussian phụ gia

$P=\beta_0+\beta_1V+\beta_2V^2+\epsilon$

Tôi biết mô hình sai, vì ít nhất hai lý do: 1) thực sự tỷ lệ thuận với công suất thứ ba của và 2) lỗi không phải là phụ gia, vì tôi đã bỏ qua các dự đoán khác không tương quan với tốc độ gió (tôi cũng biết rằng phải là 0 vì 0 tốc độ gió không có quyền lực được tạo ra, nhưng điều đó không có liên quan ở đây). Bây giờ, giả sử tôi có một cơ sở dữ liệu vô hạn về dữ liệu năng lượng và tốc độ gió từ tuabin gió của tôi. Tôi có thể vẽ bao nhiêu mẫu tôi muốn, với mọi kích cỡ. Giả sử tôi vẽ 1000 mẫu, mỗi mẫu có kích thước 100 và tính toán , ước tính MLE của $P$ $V$ $\beta_0$ $\hat{\boldsymbol{\beta}}_{100}$ $\boldsymbol{\beta}=(\beta_0,\beta_1,\beta_2)$ (mà theo mô hình của tôi sẽ chỉ là ước tính OLS). Do đó, tôi có 1000 mẫu từ phân phối . Tôi có thể lặp lại bài tập với . Vì , phân phối của có xu hướng không bình thường, với giá trị trung bình và phương sai đã nêu? Hoặc thực tế là mô hình không chính xác làm mất hiệu lực kết quả này? $\hat{\boldsymbol{\beta}}_{100}$ $N=500,1000,1500,\dots$ $N\to\infty$ $\hat{\boldsymbol{\beta}}_{N}$

Lý do tôi hỏi là hiếm khi (nếu có) mô hình là "đúng" trong các ứng dụng. Nếu các đặc tính tiệm cận của MLE bị mất khi mô hình không đúng, thì có thể sử dụng các nguyên tắc ước lượng khác nhau, trong khi ít mạnh hơn trong một thiết lập trong đó mô hình là chính xác, có thể hoạt động tốt hơn MLE trong các trường hợp khác.

EDIT : nó đã được ghi nhận trong các ý kiến rằng khái niệm mô hình thực sự có thể có vấn đề. Tôi đã có định nghĩa sau: đưa ra một họ mô hình biểu thị bằng vectơ tham số , cho mỗi mô hình trong gia đình bạn luôn có thể viết $f_{\boldsymbol{\theta}}(x)$ $\boldsymbol{\theta}$

$Y=f_{\boldsymbol{\theta}}(X)+\epsilon$

bằng cách chỉ cần xác định là . Tuy nhiên, nói chung, lỗi sẽ không trực giao với , có nghĩa là 0 và nó không nhất thiết phải có phân phối giả định trong đạo hàm của mô hình. Nếu tồn tại một giá trị sao cho $\epsilon$ $Y-f_{\boldsymbol{\theta}}(X)$ $X$ $\boldsymbol{\theta_0}$ $\epsilon$ có hai thuộc tính này, cũng như phân phối giả định, tôi sẽ nói mô hình là đúng. Tôi nghĩ rằng điều này có liên quan trực tiếp đến việc nói rằng , vì thuật ngữ lỗi trong phân tách $f_{\boldsymbol{\theta_0}}(X)=E[Y|X]$

$Y=E[Y|X]+\epsilon$

có hai tính chất nêu trên.

maximum-likelihood model asymptotics

— DeltaIV
nguồn

Ước tính MLE thường không có triệu chứng bình thường ngay cả khi mô hình không đúng, chẳng hạn, nó có thể phù hợp với các giá trị tham số "ít sai nhất". Nhưng trong những trường hợp như vậy, sẽ rất khó để thể hiện tính hiệu quả hoặc các đặc tính tối ưu khác.

— kjetil b halvorsen

Trước khi hiệu quả chúng ta nên nhìn vào sự nhất quán. Trong một kịch bản khi sự thật không nằm trong không gian tìm kiếm của bạn, chúng ta cần một định nghĩa khác về tính nhất quán sao cho: d (P *, P), trong đó d là phân kỳ P * là mô hình gần nhất về mặt d và P là sự thật. Khi d là phân kỳ KL (ví dụ MLE đang giảm thiểu), người ta biết rằng các thủ tục Bayes không nhất quán (không thể đạt đến mô hình gần nhất) trừ khi mô hình lồi. Do đó, tôi cho rằng MLE cũng sẽ không nhất quán. Do đó, hiệu quả trở nên không xác định. trang

— chủ.tudelft.nl/19j49/benelearn/ con / Paper_Grunwald.pdf

@Cagdas Ozgenc: Trong nhiều trường hợp (như hồi quy logistic) MLE vẫn nhất quán cho các tham số "ít sai nhất". Bạn có một tài liệu tham khảo cho yêu cầu của bạn về sự không nhất quán trong trường hợp không thuyết phục? Sẽ rất quan tâm? (Hàm khả năng của hồi quy logistic là lồi)

— kjetil b halvorsen

@kjetilbhalvorsen homepages.cwi.nl/~pdg/ftp/inconsistency.pdf Đó là cách tôi nghĩ, nhưng đó là những gì tôi hiểu. Nếu sự hiểu biết của tôi là sai xin vui lòng sửa cho tôi. Tôi chỉ là một người có sở thích sau tất cả.

— Cagdas Ozgenc

Tôi nghĩ rằng chúng tôi gặp rắc rối khi chúng tôi sử dụng các thuật ngữ như "mô hình là đúng" hoặc "ít sai nhất". Khi làm việc với các mô hình trong thực tế, tất cả chúng đều gần đúng. Nếu chúng ta đưa ra một số giả định nhất định, chúng ta có thể sử dụng toán học để hiển thị các thuộc tính thống kê. Luôn có một cuộc xung đột ở đây giữa toán học về xác suất và phân tích dữ liệu thực tế.

— Michael R. Chernick

Tôi không tin có một câu trả lời duy nhất cho câu hỏi này.

Khi chúng tôi xem xét khả năng sai sót phân phối có thể xảy ra trong khi áp dụng ước tính khả năng tối đa, chúng tôi nhận được cái được gọi là công cụ ước tính "Khả năng tối đa hóa tối đa" (QMLE). Trong một số trường hợp nhất định, QMLE vừa nhất quán vừa bình thường.

Những gì nó mất với sự chắc chắn là hiệu quả tiệm cận. Điều này là do phương sai tiệm cận của (đây là số lượng mà có một phân phối tiệm cận, không chỉ ), trong mọi trường hợp, $\sqrt n (\hat \theta - \theta)$ $\hat \theta$

\begin{matrix} (1) & Avar [\sqrt{n} (\hat{θ} - θ)] = plim ([\hat{H}]^{- 1} [\hat{S} {\hat{S}}^{T}] [\hat{H}]^{- 1}) \end{matrix}

$\text{Avar}[\sqrt n (\hat \theta - \theta)] = \text{plim}\Big( [\hat H]^{-1}[\hat S \hat S^T][\hat H]^{-1}\Big) \tag{1}$

Trong đó là ma trận Hessian của khả năng đăng nhập và $H$ $S$ là độ dốc và mũ biểu thị các ước tính mẫu.

Bây giờ, nếu chúng ta có đặc điểm kỹ thuật chính xác , trước tiên, chúng ta sẽ nhận được

\begin{matrix} (2) & Avar [\sqrt{n} (\hat{θ} - θ)] = (E [H_{0}])^{- 1} E [S_{0} S_{0}^{T}] (E [H_{0}])^{- 1} \end{matrix}

$\text{Avar}[\sqrt n (\hat \theta - \theta)] = (\mathbb E[H_0])^{-1}\mathbb E[S_0S_0^T](\mathbb E[H_0])^{-1} \tag{2}$

trong đó chỉ số " " biểu thị sự đánh giá ở các tham số thực (và lưu ý rằng thuật ngữ giữa là định nghĩa của Thông tin Fisher) và thứ hai là " đẳng thức ma trận thông tin " giữ và nói rằng , có nghĩa là phương sai tiệm cận cuối cùng sẽ là $0$ $-\mathbb E[H_0] = \mathbb E[S_0S_0^T]$

\begin{matrix} (3) & Avar [\sqrt{n} (\hat{θ} - θ)] = - (E [H_{0}])^{- 1} \end{matrix}

$\text{Avar}[\sqrt n (\hat \theta - \theta)] = -(\mathbb E[H_0])^{-1} \tag{3}$

đó là nghịch đảo của thông tin Fisher.

Nhưng nếu chúng ta có lỗi chính tả, biểu thức không dẫn đến biểu thức (vì các đạo hàm thứ nhất và thứ hai trong đã được dẫn xuất dựa trên khả năng sai). Đến lượt điều này ngụ ý rằng bất đẳng thức ma trận thông tin không giữ được, chúng ta không kết thúc biểu thức và MLE (Q) không đạt được hiệu quả tiệm cận đầy đủ. $(1)$ $(2)$ $(1)$ $(3)$

— Alecos Papadopoulos
nguồn

là phương sai tiệm cận của biến ngẫu nhiên, và

là viết tắt của sự hội tụ trong xác suất, phải không? Câu trả lời của bạn có vẻ rất thú vị, nhưng tôi không hiểu những gì

là trong bối cảnh của bạn. Tôi đã đề cập đến một trường hợp giá trị quyền của

chỉ đơn giản là không tồn tại: xem ví dụ tuabin gió của tôi, nơi bất cứ điều gì giá trị của

, không có giá trị mà làm cho các mô hình chính xác , bởi vì không có

hạn, và vì dự đoán khác tương quan với

là mất tích. Điều gì sẽ

Avar

$\text{Avar}$

plim

$\text{plim}$

θ

$\theta$

θ

$\theta$

β = (β_{0}, β_{1}, β_{2})

$\boldsymbol{\beta}=(\beta_0,\beta_1,\beta_2)$

β_{3}

$\beta_3$

V

$V$

θ

$\theta$ có nghĩa là trong bối cảnh này?

— DeltaIV

xin lỗi, phiên bản đầu tiên của bình luận của tôi là không thể hiểu được: bây giờ quan điểm của tôi phải rõ ràng. Nói cách khác, nếu không có "true"

, những gì nên chúng tôi intepret như

trong biểu thức

θ

$\theta$

θ

$\theta$

\sqrt{n} (\hat{θ} - θ)

$\sqrt n (\hat \theta - \theta)$

— DeltaIV

@DeltaIV Không. QMLE sẽ "bắt" cái này chứ? Nó phụ thuộc vào việc nó sẽ phù hợp hay không - và một lần nữa, không có câu trả lời duy nhất cho câu hỏi đó

— Alecos Papadopoulos

Tôi đã hiểu. Vì vậy, QMLE (nếu nhất quán) sẽ hội tụ thành

: Tôi đã nghĩ rằng nó sẽ hội tụ đến một giá trị tham số "ít sai nhất", như được đề xuất bởi @kjetilbhalvorsen. Bạn có thể đề xuất bất kỳ tài liệu tham khảo nào về QMLE và các phương trình bạn đã viết không? Cảm ơn

θ = 0

$\theta=0$

— DeltaIV

@DeltaIV Tôi muốn đề xuất giải trình trong Hayashi ch. 7 về Công cụ ước tính cực đoan, liên quan đến tính nhất quán, tính quy tắc của MLE, vv Đối với QMLE, chủ đề này khá rộng. Ví dụ, trong "QMLE", chúng tôi thực sự có thể có những tình huống mà chúng tôi thừa nhận ngay từ đầu rằng các tham số mà chúng tôi ước tính có thể không có kết nối rõ ràng với bất kỳ "tham số thực" nào (nhưng bài tập vẫn có giá trị như một xấp xỉ)., và do đó có được một vectơ "ít sai" nhất như đề xuất.

— Alecos Papadopoulos