Giả định để lấy công cụ ước tính OLS

Ai đó có thể giải thích ngắn gọn cho tôi, tại sao mỗi trong số sáu giả định là cần thiết để tính toán công cụ ước tính OLS không? Tôi chỉ tìm thấy về tính đa hướng mà nếu nó tồn tại, chúng ta không thể đảo ngược ma trận (X'X) và lần lượt ước tính tổng ước tính. Còn những người khác (ví dụ, tuyến tính, lỗi trung bình bằng không, v.v.) thì sao?

least-squares assumptions

— Ieva
nguồn

Liên quan: Danh sách đầy đủ các giả định thông thường cho hồi quy tuyến tính là gì?

— gung - Tái lập Monica

Bạn đang tìm kiếm một lời giải thích khái niệm, hoặc bạn cần một minh chứng toán học?

— gung - Phục hồi Monica

Bình phương tối thiểu thông thường là một thủ tục số, bạn không cần nhiều giả định để tính toán nó (ngoài tính không khả dụng). Các giả định là cần thiết để biện minh cho suy luận dựa trên nó, xem câu trả lời của tôi ngày hôm qua: stats.stackexchange.com/questions/148804/ Kẻ

— kjetil b halvorsen

Chính xác thì "sáu giả định" mà bạn đang đề cập đến là gì? Bạn chỉ đề cập đến ba.

— whuber

Tôi đề cập đến 1) tuyến tính 2) không có đa cộng tuyến 3) sai số trung bình bằng 0) sai số hình cầu (homoscedasticity và không autocorrelation) 5) hồi quy không ngẫu nhiên và 6) phân phối chuẩn. Vì vậy, như tôi đã hiểu từ câu trả lời dưới đây, chỉ có ba cái đầu tiên là cần thiết để lấy được công cụ ước tính và cái khác chỉ cần thiết để đảm bảo công cụ ước tính là XANH?

— Ieva

Câu trả lời:

Bạn luôn có thể tính toán công cụ ước tính OLS, ngoài trường hợp khi bạn có tính đa hình hoàn hảo. Trong trường hợp này, bạn có sự phụ thuộc đa tuyến hoàn hảo trong ma trận X của bạn. Do đó, giả định xếp hạng đầy đủ không được thực hiện và bạn không thể tính toán công cụ ước tính OLS, vì các vấn đề không thể thực hiện được.

Về mặt kỹ thuật, bạn không cần các giả định OLS khác để tính toán công cụ ước tính OLS. Tuy nhiên, theo định lý Markov Gauss, bạn cần hoàn thành giả định OLS (giả định clrm) để công cụ ước tính của bạn có màu XANH LÁ.

Bạn có thể tìm thấy một cuộc thảo luận rộng rãi về định lý Gauss thống Markov và dẫn xuất toán học của nó ở đây:

http: // ec economtheoryblog.com/2015/02/26/markov_theorem/

Hơn nữa, nếu bạn đang tìm kiếm một cái nhìn tổng quan về giả định OLS, tức là có bao nhiêu, họ yêu cầu gì và điều gì xảy ra nếu bạn vi phạm giả định OLS đơn lẻ có thể tìm thấy một cuộc thảo luận chi tiết ở đây:

http: // ec economtheoryblog.com/2015/04/01/ols_assumptions/

Tôi hy vọng rằng sẽ giúp, chúc mừng!

— Simon Degonda
nguồn

Dưới đây dựa trên các mặt cắt đơn giản, đối với chuỗi thời gian và bảng điều khiển, nó có phần khác nhau.

Trong dân số, và do đó trong mẫu, mô hình có thể được viết là: $\begin{aligned} Y & = β_{0} + β_{1} x_{1} + \dots + β_{k} x_{k} + u \\ = X β + u \end{aligned}$ $\begin{align} \newcommand{\Var}{\rm Var} \newcommand{\Cov}{\rm Cov} Y &= \beta_0 + \beta_1 x_1 + … + \beta_k x_k + u \\ &= X\beta + u \end{align}$ Đây là giả định tuyến tính, đôi khi bị hiểu nhầm. Mô hình nên tuyến tính trong các tham số - cụ thể là $\beta_k$ . Bạn có thể tự do làm bất cứ điều gì bạn muốn với $x_i$ . Nhật ký, hình vuông, v.v ... Nếu đây không phải là trường hợp, thì mô hình có thể được ước tính bằng OLS - bạn cần một số ước tính phi tuyến khác.
Một mẫu ngẫu nhiên (cho các mặt cắt ngang) Điều này là cần thiết cho suy luận và các thuộc tính mẫu. Nó có phần không liên quan đến các cơ chế thuần túy của OLS.
Không có Collinearity hoàn hảo Điều này có nghĩa là không thể có mối quan hệ hoàn hảo giữa $x_i$ . Đây là giả định đảm bảo rằng $(X’X)$ không có giá trị, sao cho $(X’X)^{-1}$ tồn tại.
Không có nghĩa là có điều kiện: $E(u|X) = 0$ . Điều này có nghĩa là bạn đã chỉ định đúng mô hình sao cho: không có biến bị bỏ qua và dạng chức năng bạn ước tính là chính xác so với mô hình dân số (chưa biết). Đây luôn là giả định có vấn đề với OLS, vì không có cách nào để biết liệu nó có thực sự hợp lệ hay không.
Phương sai của thuật ngữ lỗi là không đổi, có điều kiện trên tất cả : Một lần nữa, điều này có nghĩa là không có gì cho cơ học của OLS, nhưng nó đảm bảo rằng các lỗi tiêu chuẩn thông thường là hợp lệ. $X_i$ $\Var(u|X)=\sigma^2$
Bình thường; thuật ngữ lỗi u không phụ thuộc vào , và sau . Một lần nữa đây là không thích hợp cho các cơ chế OLS, nhưng đảm bảo rằng việc phân phối mẫu của là bình thường, . $X_i$ $u \sim N(0,\sigma^2)$ $\beta_k$ $\hat{\beta_k} \sim N(\beta_k , \Var(\hat{\beta_k}))$

Bây giờ cho các hàm ý.

Dưới 1 - 6 (các giả định mô hình tuyến tính cổ điển) OLS là BLUE (công cụ ước lượng không thiên vị tuyến tính tốt nhất), tốt nhất theo nghĩa phương sai thấp nhất. Nó cũng hiệu quả trong số tất cả các công cụ ước tính tuyến tính, cũng như tất cả các công cụ ước tính sử dụng một số chức năng của x. Quan trọng hơn dưới 1 - 6, OLS cũng là công cụ ước lượng không thiên vị tối thiểu. Điều đó có nghĩa là trong số tất cả các công cụ ước tính không thiên vị (không chỉ tuyến tính), OLS có phương sai nhỏ nhất. OLS cũng phù hợp.
Dưới 1 - 5 (giả định Gauss-Markov) OLS là MÀU XANH và hiệu quả (như được mô tả ở trên).
Dưới 1 - 4, OLS không thiên vị và nhất quán.

Trên thực tế OLS cũng nhất quán, theo giả định yếu hơn cụ thể là: và . Sự khác biệt so với giả định 4 là, theo giả định này, bạn không cần phải đóng đinh mối quan hệ chức năng một cách hoàn hảo. $(4)$ $(1)\ E(u) = 0$ $(2)\ \Cov(x_j , u) = 0$

— Từ ngữ
nguồn

Tôi nghĩ bạn vẽ một bức tranh quá tối về điều kiện không có nghĩa. Nếu có sai lệch, thì tối thiểu hóa tổng sai lệch bình phương sẽ không phải là điều thích hợp để làm, nhưng mặt khác, bạn có thể nắm bắt được độ lệch bằng cách chuyển phương trình hồi quy (hấp thụ độ lệch thành

), và sau đó bạn làm có ý nghĩa 0. Nói cách khác, 4 là cả hai không thể xác minh và dễ dàng bỏ qua.

β_{0}

$\beta_0$

— dùng3697176

Tôi xin lỗi, nhưng tôi không đồng ý. Hoặc có thể tôi chỉ hiểu lầm bạn? Bạn có thể khơi gợi hoặc đưa ra một tài liệu tham khảo.

— Repmat

Tôi không nói ước lượng về cố ý bóp méo (như hồi quy sườn núi), mà tôi tin rằng OP đã không được quan tâm. Tôi đang nói về một mô hình có dạng

, trong đó --- vì một lý do lạ --- dư

có nghĩa là

. Trong trường hợp này nó rất dễ dàng để làm một chuyển đổi chính thức đối với

y = β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + ϵ

$y=\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \epsilon$

ϵ

$\epsilon$

α \neq 0

$\alpha\ne0$

, nơi giá trị trung bình của

là zero.

y = α + β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + η

$y=\alpha+\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \eta$

η

$\eta$

— dùng3697176

@ user3697176 Những gì bạn viết không đúng. Tôi chỉ đăng một câu trả lời để giải thích tại sao.

— Alecos Papadopoulos

Nếu giả định 1 không thỏa mãn, chúng ta vẫn có thể sử dụng OLS để ước tính hiệp phương sai dân số (mặc dù chúng ta biết không có mối quan hệ tuyến tính)?

— tối đa

Một bình luận trong một câu hỏi khác đưa ra những nghi ngờ về tầm quan trọng của điều kiện , cho rằng nó có thể được sửa chữa bởi sự bao gồm của một thuật ngữ liên tục trong các đặc điểm kỹ thuật hồi quy, và như vậy "có thể dễ dàng bỏ qua". $E(\mathbf u \mid \mathbf X) =0$

Đây không phải là như vậy. Việc đưa vào một thuật ngữ không đổi trong hồi quy sẽ hấp thụ giá trị trung bình có điều kiện khác không của thuật ngữ lỗi nếu chúng ta giả sử rằng giá trị trung bình có điều kiện này đã là hằng số và không phải là hàm của các biến hồi quy . Đây là giả định quan trọng phải được thực hiện độc lập cho dù chúng tôi có bao gồm một thuật ngữ không đổi hay không:

E (u ∣ X) = c o n s t .

$E(\mathbf u \mid \mathbf X) =const.$

Nếu điều này giữ, thì giá trị khác không trở thành một mối phiền toái mà chúng ta có thể giải quyết đơn giản bằng cách bao gồm một thuật ngữ không đổi.

Nhưng nếu điều này không giữ được , (nghĩa là nếu giá trị trung bình có điều kiện không phải là hằng số 0 hoặc khác không ), thì việc bao gồm thuật ngữ không đổi không giải quyết được vấn đề: cái mà nó sẽ "hấp thụ" trong trường hợp này là độ lớn điều đó phụ thuộc vào mẫu cụ thể và việc thực hiện các biến hồi quy. Trong thực tế, hệ số chưa biết gắn liền với chuỗi số không thực sự là một hằng số mà là biến số, phụ thuộc vào các biến hồi quy thông qua trung bình điều kiện không liên tục của thuật ngữ lỗi.

Điều này có nghĩa là gì? Để đơn giản hóa, giả sử trường hợp đơn giản nhất, trong đó ( lập chỉ mục các quan sát) nhưng . Tức là thuật ngữ lỗi không có ý nghĩa - độc lập với các biến hồi quy ngoại trừ các thuật ngữ cùng thời (trong chúng tôi không bao gồm một loạt các lỗi). $E(u_i \mid \mathbf X_{-i})=0$ $i$ $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)$ $\mathbf X$

Giả sử rằng chúng ta xác định hồi quy với việc bao gồm một số hạng không đổi (một hồi quy của một loạt các số).

y = a + X β + ε

$\mathbf y = \mathbf a + \mathbf X\mathbf β + \mathbf ε$

và ký hiệu nén

y = Z γ + ε

$\mathbf y = \mathbf Z\mathbf γ + \mathbf ε$

$\mathbf a = (a,a,a...)'$ $\mathbf Z = [\mathbf 1: \mathbf X]$ $\mathbf γ = (a, \mathbf β)'$ , $\mathbf ε = \mathbf u - \mathbf a$ .

Then the OLS estimator will be

\hat{γ} = γ + {(Z^{'} Z)}^{- 1} Z^{'} ε

$\hat {\mathbf γ} = \mathbf γ + \left(\mathbf Z'\mathbf Z\right)^{-1}\mathbf Z'\mathbf ε$

For unbiasedness we need $E\left[\mathbf ε\mid \mathbf Z\right] =0$ . But

E [ε_{i} ∣ x_{i}] = E [u_{i} - a ∣ x_{i}] = h (x_{i}) - a

$E\left[ ε_i\mid \mathbf x_i\right] = E\left[u_i-a\mid \mathbf x_i\right] = h(\mathbf x_i)-a$

which cannot be zero for all $i$ , since we examine the case where $h(\mathbf x_i)$ is not a constant function. So

E [ε ∣ Z] \neq 0 ⟹ E (\hat{γ}) \neq γ

$E\left[\mathbf ε\mid \mathbf Z\right] \neq 0 \implies E(\hat {\mathbf γ}) \neq \mathbf γ$

and

If $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ , then even if we include a constant term in the regression, the OLS estimator will not be unbiased, meaning also that the Gauss-Markov result on efficiency, is lost.

Moreover, the error term $\mathbf ε$ has a different mean for each $i$ , and so also a different variance (i.e. it is conditionally heteroskedastic). So its distribution conditional on the regressors differs across the observations $i$ .

But this means that even if the error term $u_i$ is assumed normal, then the distribution of the sampling error $\hat {\mathbf γ} - \mathbf γ$ will be normal but not zero-mean mormal, and with unknown bias. And the variance will differ. So

If $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ , then even if we include a constant term in the regression, Hypothesis testing is no longer valid.

In other words, "finite-sample" properties are all gone.

We are left only with the option to resort to asymptotically valid inference, for which we will have to make additional assumptions.

So simply put, Strict Exogeneity cannot be "easily ignored".

— Alecos Papadopoulos
nguồn

I'm not completely sure I understand this. Isn't assuming that the mean is a not a function of the regressors equivalent to assuming homoscedasticity?

— Batman

@Batman To what part of my post are you referring to?

— Alecos Papadopoulos

When you say "The inclusion of a constant term in the regression will absorb the possibly non-zero conditional mean of the error term if we assume that this conditional mean is already a constant and not a function of the regressors. This is the crucial assumption that must be made independently of whether we include a constant term or not." Isn't assuming that the conditional mean isn't a function of the regressors exactly what we're assuming when we assume homoscedasticity?

— Batman

@Batman Homoskedasticity is an assumption about the variance. Assuming mean -independence does not imply that

E (u_{j}^{2} ∣ x)

$E(u^2_j \mid \mathbf x)$ is also a constant, which is also needed for conditional homoskedasticity. In fact, mean-independence,

E (u ∣ x) = c o n s t .

$E(u \mid x) =const.$ together with conditional heteroskedasticity,

E (u^{2} ∣ x) = g (x)

$E(u^2 \mid x) = g(x)$ is a standard model variant.

— Alecos Papadopoulos