OLS có hiệu quả bất thường dưới sự không đồng nhất

Tôi biết rằng OLS không thiên vị nhưng không hiệu quả dưới sự không đồng nhất trong cài đặt hồi quy tuyến tính.

Trong Wikipedia

http://en.wikipedia.org/wiki/Minimum_mean_sapes_error

Công cụ ước tính MMSE không thiên vị không thiên vị và nó hội tụ trong phân phối cho phân phối bình thường: , trong đó I (x) là thông tin Fisher của x. Do đó, công cụ ước tính MMSE có hiệu quả không có triệu chứng. $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

MMSE được tuyên bố là không hiệu quả. Tôi có một chút bối rối ở đây.

Điều này có nghĩa là OLS không hiệu quả trong mẫu hữu hạn, nhưng hiệu quả không có triệu chứng dưới sự không đồng nhất?

Phê bình các câu trả lời hiện tại: Cho đến nay các câu trả lời được đề xuất không đề cập đến phân phối giới hạn.

Cảm ơn trước

least-squares heteroscedasticity efficiency

— Cagdas Ozgenc
nguồn

Đó là một bài viết khá dài trên wikipedia. Vì, ngoài ra, đây có thể thay đổi, bạn có phiền trích dẫn đoạn văn gây nhầm lẫn?

— hejseb

Thông tin Fisher được lấy từ hàm khả năng. Vì vậy, nó ngầm ngụ ý rằng khả năng đã được chỉ định chính xác. tức là Tuyên bố mà bạn đề cập đến giả định, nếu có bất kỳ sự không đồng nhất nào, thì hồi quy được cân nhắc theo cách sao cho độ không đồng nhất được xác định chính xác. Xem en.wikipedia.org/wiki/Least_squares# Weighted_least_squares . Trong thực tế, chúng ta thường không biết hình thức không đồng nhất, vì vậy đôi khi chúng ta chấp nhận sự kém hiệu quả hơn là có cơ hội thiên vị hồi quy bằng cách bỏ lỡ các sơ đồ trọng số.

— Zachary Blumenfeld

@ZacharyBlumenfeld Không có giả định về phân phối x trong bài viết. Làm thế nào chúng ta kết thúc với thông tin Fisher?

— Cagdas Ozgenc

Xem en.wikipedia.org/wiki/Fisher_in information Bài viết ngụ ý phân phối trên và khi có kỳ vọng trong phần định nghĩa. Lưu ý rằng homoscedasticity không bao giờ được giả định ở đó. Trong ngữ cảnh của OLS, tính đồng nhất giả định , là ma trận danh tính. Heteroscedacticity cho phép , bất kỳ chéo dương bán nhất định. Sử dụng sẽ dẫn đến thông tin Fisher khác nhau hơn sẽ sử dụng .

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

— Zachary Blumenfeld

Tôi có thể thấy bằng chứng nào về thực tế này rằng "MMSE hội tụ trong phân phối đến phân phối bình thường?"

— Hajir

Câu trả lời:

Bài báo không bao giờ giả định homoskadasticity trong định nghĩa. Để đặt nó trong ngữ cảnh của bài viết, homoskedasticity sẽ nói Trong đó là ma trận danh tính và là một số vô hướng dương. Không đồng nhất cho phép

E {(\hat{x} - x) (\hat{x} - x)^{T}} = σ I

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$

I

$I$

n \times n

$n\times n$

σ

$\sigma$

E {(\hat{x} - x) (\hat{x} - x)^{T}} = D

$E\{(\hat x-x)(\hat x-x)^T\}=D$

Bất kỳ diaganol dương xác định. Bài viết định nghĩa ma trận hiệp phương sai theo cách tổng quát nhất có thể, là khoảnh khắc thứ hai trung tâm của một số phân phối đa biến ẩn. chúng ta phải biết phân phối đa biến của để có được ước tính nhất quán hiệu quả và nhất quán của . Điều này sẽ đến từ một chức năng khả năng (là một thành phần bắt buộc của hậu thế). Ví dụ: giả sử (tức là . Sau đó, hàm khả năng ngụ ý là Trong đó là pdf thông thường đa biến. $D$ $e$ $\hat x$ $e \sim N(0,\Sigma)$ $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

\log [L] = \log [ϕ (\hat{x} - x, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$

ϕ

$\phi$

Ma trận thông tin câu cá có thể được viết là xem en.wikipedia.org/wiki/Fisher_inif để biết thêm. Từ đây, chúng ta có thể rút ra Ở trên đang sử dụng hàm mất bậc hai nhưng không giả sử đồng đẳng.

I (x) = E [(\frac{\partial}{\partial x} \log [L])^{2} | x]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$

\sqrt{n} (\hat{x} - x) \to^{d} N (0, I^{- 1} (x))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$

Trong ngữ cảnh của OLS, nơi chúng tôi hồi quy trên chúng tôi giả sử Khả năng ngụ ý là Có thể được viết lại một cách thuận tiện dưới dạng bản pdf thông thường. Thông tin câu cá sau đó là $y$ $x$

E {y | x} = x^{'} β

$E\{y|x\}=x'\beta$

\log [L] = \log [ϕ (y - x^{'} β, σ I)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$

\log [L] = \sum_{i = 1}^{n} \log [φ (y - x^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$

I (β) = [σ (x x^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

Nếu độ đồng đều không được đáp ứng, thì thông tin Fisher như đã nêu bị bỏ sót được chỉ định (nhưng hàm kỳ vọng có điều kiện vẫn đúng), vì vậy các ước tính của sẽ nhất quán nhưng không hiệu quả. Chúng tôi có thể viết lại khả năng giải thích cho tính không đồng nhất và hồi quy là hiệu quả, tức là chúng tôi có thể viết Điều này tương đương với một số dạng Bình phương tối thiểu nhất định , chẳng hạn như bình phương có trọng số nhỏ nhất. Tuy nhiên, điều này sẽ $\beta$

\log [L] = \log [ϕ (y - x^{'} β, D)]

$\log[L]=\log[\phi(y-x'\beta, D)]$ thay đổi ma trận thông tin Fisher. Trong thực tế, chúng ta thường không biết hình thức không đồng nhất nên đôi khi chúng ta thích chấp nhận sự kém hiệu quả hơn là cơ hội làm sai lệch hồi quy bằng cách bỏ lỡ các sơ đồ trọng số. Trong những trường hợp như vậy, hiệp phương sai tiệm cận của không phải là như đã chỉ định ở trên.

β

$\beta$

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$

— Zachary Blumfeld
nguồn

Cảm ơn tất cả thời gian bạn đã dành. Tuy nhiên tôi nghĩ rằng mục wiki là tào lao. MMSE sẽ không mang lại hiệu quả và không nơi nào quy định rằng các mẫu được cân chính xác. Hơn nữa, ngay cả khi chúng tôi giả định rằng các mẫu có trọng số, nó vẫn không phải là một công cụ ước tính hiệu quả trừ khi phân phối là Gaussian, cũng không được chỉ định.

— Cagdas Ozgenc

@CagdasOzgenc Tôi không đồng ý. Bài báo được viết theo cách nói chung của Bayes có thể bao gồm hồi quy, nhưng cũng có nhiều mô hình khác (dường như nó nhắm nhiều hơn vào bộ lọc Kalman). Khả năng là công cụ ước tính hiệu quả nhất khi được biết, đây là một thuộc tính cơ bản của khả năng. Những gì bạn nói áp dụng đúng cho một tập hợp các mô hình hồi quy (mặc dù trong số các mô hình được áp dụng rộng rãi nhất) trong đó tính quy phạm được giả định khi đưa ra các điều kiện đặt hàng đầu tiên.

— Zachary Blumenfeld

Bạn tự nói với chính mình. Thật không may, bài viết không phải là về ước tính khả năng. Nó là Công cụ ước tính bình phương trung bình tối thiểu, hoạt động hiệu quả khi một số điều kiện được thỏa mãn.

— Cagdas Ozgenc

Được rồi, tôi đồng ý không đồng ý :) Có lẽ có mâu thuẫn với định nghĩa MMSE giữa cách sử dụng nó trong hồi quy thường xuyên nhất và cách áp dụng ở đây trong một môi trường Bayes hơn. Có lẽ họ nên phát minh ra một tên mới cho nó. Tuy nhiên, khả năng (hoặc có lẽ các ước tính không tham số khác) được ngụ ý khi thực hiện các kỳ vọng độc lập trên mỗi bình phương còn lại. đặc biệt là trong một khung cảnh Bayes (nếu không chúng ta sẽ ước tính nó như thế nào?). Sau khi Google, tôi đã tìm thấy rất nhiều kết quả tương tự với kết quả trên Wikipedia. Dù sao, tôi đồng ý rằng thuật ngữ đang bị lạm dụng.

— Zachary Blumenfeld

Không, OLS không hiệu quả dưới sự không đồng nhất. Hiệu quả của một công cụ ước tính có được nếu công cụ ước tính có phương sai nhỏ nhất trong số các công cụ ước tính khác. Báo cáo về hiệu quả trong OLS được thực hiện bất kể phân phối giới hạn của công cụ ước tính.

— anh chàng ngẫu nhiên
nguồn