72

Các giả định thông thường cho hồi quy tuyến tính là gì?

Họ có bao gồm:

một mối quan hệ tuyến tính giữa biến độc lập và biến phụ thuộc
lỗi độc lập
phân phối lỗi bình thường
đồng đẳng

Có ai khác không?

regression assumptions

— tony
nguồn

3

Bạn có thể tìm thấy một danh sách khá hoàn chỉnh trong cuốn sách nhỏ William Berry về "Giả định Regression Hiểu": books.google.com/books/about/...

3

Mặc dù người trả lời đã liệt kê một số tài nguyên tốt, nhưng đây là một câu hỏi khó trả lời ở định dạng này và (nhiều) sách đã được dành riêng cho chủ đề này. Không có sách dạy nấu ăn, cũng không nên có nhiều tình huống tiềm ẩn mà hồi quy tuyến tính có thể bao gồm.

— Andy W

3

Về mặt kỹ thuật, hồi quy tuyến tính (thông thường) là một mô hình có dạng , iid. Câu lệnh toán học đơn giản đó bao gồm tất cả các giả định. Điều này khiến tôi nghĩ rằng, @Andy W, rằng bạn có thể diễn giải câu hỏi rộng hơn, có lẽ theo nghĩa nghệ thuật và thực hành hồi quy. Suy nghĩ thêm của bạn về điều này có thể hữu ích ở đây.

E [Y_{i}] = X_{i} β

$\mathbb{E}[Y_i] = \mathbf{X}_i \beta$

Y_{i}

$Y_i$

— whuber

2

@Andy WI đã không cố gắng đề xuất giải thích của bạn là không chính xác. Nhận xét của bạn đề xuất một cách suy nghĩ về câu hỏi vượt ra ngoài các giả định kỹ thuật, có lẽ chỉ vào những gì có thể cần thiết để giải thích hợp lệ các kết quả hồi quy. Không cần thiết phải viết một chuyên luận để đáp lại, nhưng ngay cả một danh sách một số vấn đề rộng lớn hơn cũng có thể được chiếu sáng và có thể mở rộng phạm vi và mối quan tâm của chủ đề này.

— whuber

1

@whuber, nếu thì điều này có nghĩa là các phương tiện khác nhau đối với khác nhau , do đó không thể là iid :)

E Y_{i} = X_{i} β

$EY_i=X_i\beta$

i

$i$

Y_{i}

$Y_i$

— mpiktas

78

Câu trả lời phụ thuộc rất nhiều vào cách bạn xác định đầy đủ và thông thường. Giả sử chúng ta viết mô hình hồi quy tuyến tính theo cách sau: $\newcommand{\x}{\mathbf{x}} \newcommand{\bet}{\boldsymbol\beta} \DeclareMathOperator{\E}{\mathbb{E}} \DeclareMathOperator{\Var}{Var} \DeclareMathOperator{\Cov}{Cov} \DeclareMathOperator{\Tr}{Tr}$

y_{i} = x_{i}^{'} β + u_{i}

$y_i = \x_i'\bet + u_i$

Trong đó là vectơ của các biến dự đoán, là tham số quan tâm, là biến trả lời và là nhiễu. Một trong những ước tính có thể có của là ước tính bình phương nhỏ nhất: $\mathbf{x}_i$ $\beta$ $y_i$ $u_i$ $\beta$

\hat{β} = {argmin}_{β} \sum (y_{i} - x_{i} β)^{2} = {(\sum x_{i} x_{i}^{'})}^{- 1} \sum x_{i} y_{i} .

$\hat\bet = \textrm{argmin}_{\bet}\sum(y_i-\x_i\bet)^2 = \left(\sum \x_i \x_i'\right)^{-1} \sum \x_i y_i .$

Thực tế bây giờ tất cả các sách giáo khoa đều xử lý các giả định khi ước tính này có các thuộc tính mong muốn, chẳng hạn như không thiên vị, nhất quán, hiệu quả, một số thuộc tính phân phối, v.v. $\hat\bet$

Mỗi thuộc tính này đòi hỏi một số giả định nhất định, không giống nhau. Vì vậy, câu hỏi tốt hơn sẽ là hỏi những giả định nào là cần thiết cho các thuộc tính mong muốn của ước tính LS.

Các thuộc tính tôi đề cập ở trên đòi hỏi một số mô hình xác suất để hồi quy. Và ở đây chúng ta có tình huống các mô hình khác nhau được sử dụng trong các lĩnh vực ứng dụng khác nhau.

Trường hợp đơn giản là coi là một biến ngẫu nhiên độc lập, với là không ngẫu nhiên. Tôi không thích từ thông thường, nhưng chúng ta có thể nói rằng đây là trường hợp thông thường trong hầu hết các lĩnh vực được áp dụng (theo như tôi biết). $y_i$ $\x_i$

Dưới đây là danh sách một số thuộc tính mong muốn của ước tính thống kê:

Ước tính tồn tại.
Không thiên vị: . $E\hat\bet=\bet$
Tính nhất quán: as ( ở đây là kích thước của một mẫu dữ liệu). $\hat\bet \to \bet$ $n\to\infty$ $n$
Hiệu quả: nhỏ hơn cho các ước tính thay thế của . $\Var(\hat\bet)$ $\Var(\tilde\bet)$ $\tilde\bet$ $\bet$
Khả năng ước tính hoặc tính toán hàm phân phối của . $\hat\bet$

Sự tồn tại

Tài sản tồn tại có vẻ kỳ lạ, nhưng nó rất quan trọng. Trong định nghĩa của chúng tôi đảo ngược ma trận $\hat\beta$ $\sum \x_i \x_i'.$

Không đảm bảo rằng nghịch đảo của ma trận này tồn tại cho tất cả các biến thể có thể có của . Vì vậy, chúng tôi ngay lập tức nhận được giả định đầu tiên của chúng tôi: $\x_i$

Ma trận phải có thứ hạng đầy đủ, tức là không thể đảo ngược. $\sum \x_i \x_i'$

Không thiên vị

Chúng tôi có nếu

E \hat{β} = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum x_{i} E y_{i}) = β,

$\E\hat\bet = \left(\sum \x_i \x_i' \right)^{-1}\left(\sum \x_i \E y_i \right) = \bet,$

E y_{i} = x_{i} β .

$\E y_i = \x_i \bet.$

Chúng tôi có thể đánh giá nó là giả định thứ hai, nhưng chúng tôi có thể đã tuyên bố hoàn toàn, vì đây là một trong những cách tự nhiên để xác định mối quan hệ tuyến tính.

Lưu ý rằng để có được tính không thiên vị, chúng tôi chỉ yêu cầu cho tất cả và là hằng số. Tài sản độc lập là không cần thiết. $\E y_i = \x_i \bet$ $i$ $\x_i$

Tính nhất quán

Để có được các giả định về tính nhất quán, chúng ta cần nói rõ hơn về ý nghĩa của việc . Đối với chuỗi các biến ngẫu nhiên, chúng ta có các chế độ hội tụ khác nhau: trong xác suất, gần như chắc chắn, trong phân phối và ý nghĩa thời điểm -th. Giả sử chúng ta muốn có được sự hội tụ trong xác suất. Chúng ta có thể sử dụng luật của số lượng lớn hoặc sử dụng trực tiếp bất đẳng thức Ch Quashev đa biến (sử dụng thực tế là ): $\to$ $p$ $\E \hat\bet = \bet$

Pr (‖ \hat{β} - β ‖ > ε) \leq \frac{Tr (Var (\hat{β}))}{ε^{2}} .

$\Pr(\lVert \hat\bet - \bet \rVert >\varepsilon)\le \frac{\Tr(\Var(\hat\bet))}{\varepsilon^2}.$

(Biến thể của bất đẳng thức này xuất phát trực tiếp từ việc áp dụng bất đẳng thức của Markov cho , lưu ý rằng .) $\lVert \hat\bet - \bet\rVert^2$ $\E \lVert \hat\bet - \bet\rVert^2 = \Tr \Var(\hat\bet)$

Vì khả năng hội tụ có nghĩa là thuật ngữ tay trái phải biến mất đối với mọi là , nên chúng ta cần là . Điều này là hoàn toàn hợp lý vì với nhiều dữ liệu hơn, độ chính xác mà chúng tôi ước tính sẽ tăng lên. $\varepsilon>0$ $n\to\infty$ $\Var(\hat\bet)\to 0$ $n\to\infty$ $\bet$

Chúng ta có

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum_{i} \sum_{j} x_{i} x_{j}^{'} Cov (y_{i}, y_{j})) {(\sum x_{i} x_{i}^{'})}^{- 1} .

$\Var(\hat\bet) =\left( \sum \x_i \x_i' \right)^{-1} \left( \sum_i \sum_j \x_i \x_j' \Cov(y_i, y_j) \right) \left(\sum \mathbf{x}_i\mathbf{x}_i'\right)^{-1}.$

Độc lập đảm bảo rằng , do đó biểu thức đơn giản hóa thành $\Cov(y_i, y_j) = 0$

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum_{i} x_{i} x_{i}^{'} Var (y_{i})) {(\sum x_{i} x_{i}^{'})}^{- 1} .

$\Var(\hat\bet) = \left( \sum \x_i \x_i' \right)^{-1} \left( \sum_i \x_i \x_i' \Var(y_i) \right) \left( \sum \x_i \x_i' \right)^{-1} .$

Bây giờ giả sử , sau đó $\Var(y_i) = \text{const}$

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} Var (y_{i}) .

$\Var(\hat\beta) = \left(\sum \x_i \x_i' \right)^{-1} \Var(y_i) .$

Bây giờ nếu chúng tôi yêu cầu thêm được giới hạn cho mỗi , chúng tôi ngay lập tức nhận được $\frac{1}{n} \sum \x_i \x_i'$ $n$

Var (β) \to 0 as n \to \infty .

$\Var(\bet) \to 0 \text{ as } n \to \infty.$

Vì vậy, để có được tính nhất quán, chúng tôi giả định rằng không có tự động tương quan ( ), phương sai là không đổi và không tăng quá nhiều. Giả định đầu tiên được thỏa mãn nếu đến từ các mẫu độc lập. $\Cov(y_i, y_j) = 0$ $\Var(y_i)$ $\x_i$ $y_i$

Hiệu quả

Kết quả kinh điển là định lý Gauss-Markov . Các điều kiện cho nó chính xác là hai điều kiện đầu tiên cho tính nhất quán và điều kiện cho tính không thiên vị.

Thuộc tính phân phối

Nếu bình thường, chúng tôi ngay lập tức nhận được là bình thường, vì đó là sự kết hợp tuyến tính của các biến ngẫu nhiên bình thường. Nếu chúng ta giả định các giả định độc lập trước đây, không tương quan và phương sai không đổi, chúng ta sẽ nhận được trong đó . $y_i$ $\hat\bet$

\hat{β} \sim N (β, σ^{2} {(\sum x_{i} x_{i}^{'})}^{- 1})

$\hat\bet \sim \mathcal{N}\left(\bet, \sigma^2\left(\sum \x_i \x_i' \right)^{-1} \right)$

Var (y_{i}) = σ^{2}

$\Var(y_i)=\sigma^2$

Nếu không bình thường, nhưng độc lập, chúng ta có thể nhận được phân phối gần đúng của nhờ định lý giới hạn trung tâm. Đối với điều này chúng ta cần phải thừa nhận rằng đối với một số ma trận . Phương sai không đổi cho tính quy tắc tiệm cận là không bắt buộc nếu chúng ta giả sử rằng $y_i$ $\hat\bet$

lim_{n \to \infty} \frac{1}{n} \sum x_{i} x_{i}^{'} \to A

$\lim_{n \to \infty} \frac{1}{n} \sum \x_i \x_i' \to A$

A

$A$

lim_{n \to \infty} \frac{1}{n} \sum x_{i} x_{i}^{'} Var (y_{i}) \to B .

$\lim_{n \to \infty} \frac{1}{n} \sum \x_i \x_i' \Var(y_i) \to B.$

Lưu ý rằng với phương sai liên tục của , ta có . Định lý giới hạn trung tâm sau đó cho chúng ta kết quả như sau: $y$ $B = \sigma^2 A$

\sqrt{n} (\hat{β} - β) \to N (0, A^{- 1} B A^{- 1}) .

$\sqrt{n}(\hat\bet - \bet) \to \mathcal{N}\left(0, A^{-1} B A^{-1} \right).$

Vì vậy, từ điều này, chúng ta thấy rằng sự độc lập và phương sai không đổi đối với và các giả định nhất định cho cung cấp cho chúng ta rất nhiều thuộc tính hữu ích cho ước tính LS . $y_i$ $\mathbf{x}_i$ $\hat\bet$

Điều này là những giả định có thể được thư giãn. Ví dụ: chúng tôi yêu cầu không phải là biến ngẫu nhiên. Giả định này không khả thi trong các ứng dụng kinh tế lượng. Nếu chúng ta để là ngẫu nhiên, chúng ta có thể nhận được kết quả tương tự nếu sử dụng các kỳ vọng có điều kiện và tính đến tính ngẫu nhiên của . Giả định độc lập cũng có thể được nới lỏng. Chúng tôi đã chứng minh rằng đôi khi chỉ cần sự không tương quan là cần thiết. Ngay cả điều này có thể được nới lỏng hơn nữa và vẫn có thể chỉ ra rằng ước tính LS sẽ nhất quán và không có triệu chứng bình thường. Xem ví dụ cuốn sách của White để biết thêm chi tiết. $\x_i$ $\x_i$ $\x_i$

— mpiktas
nguồn

Một nhận xét về định lý Gauss-Markov. Nó chỉ nói rằng OLS tốt hơn các công cụ ước tính khác là các hàm tuyến tính của dữ liệu. Tuy nhiên, nhiều công cụ ước tính thường được sử dụng, đặc biệt là khả năng tối đa (ML), không phải là các hàm tuyến tính của dữ liệu và có thể hiệu quả hơn nhiều so với OLS theo các điều kiện của định lý Gauss-Markov.

— Peter Westfall

@PeterWestfall Đối với các lỗi thông thường của gaussian, MLE là OLS :) Và bạn không thể có hiệu quả cao hơn MLE. Tôi đã cố gắng để được nhẹ với chi tiết toán học trong bài này.

— mpiktas

1

Quan điểm của tôi là có nhiều công cụ ước tính hiệu quả hơn OLS theo phân phối không bình thường khi điều kiện GM giữ. GM về cơ bản là vô dụng vì một tuyên bố rằng OLS là "tốt" theo tính phi quy tắc, bởi vì các công cụ ước tính tốt nhất trong các trường hợp không bình thường là các hàm phi tuyến của dữ liệu.

— Peter Westfall

@mpiktas Vì vậy, chúng tôi lấy là không ngẫu nhiên và sử dụng công cụ ước tính hoặc chúng tôi lấy làm ngẫu nhiên và sử dụng công cụ ước tính ?

x

$\mathbf x$

\hat{Y}

$\mathbf{\hat{Y}}$

x

$\mathbf x$

\hat{Y | x}

$\mathbf{\hat{Y|x}}$

— Parthiban Rajendran

16

Có một số câu trả lời tốt ở đây. Tuy nhiên, có một giả định chưa được nêu rõ (ít nhất là không rõ ràng). Cụ thể, mô hình hồi quy giả định rằng (các giá trị của các biến giải thích / dự đoán của bạn) là cố định và đã biết và tất cả sự không chắc chắn trong tình huống tồn tại trong biếnNgoài ra, độ không đảm bảo này được coi là lỗi lấy mẫu . $\mathbf X$ $Y$

Dưới đây là hai cách để nghĩ về điều này: Nếu bạn đang xây dựng một mô hình giải thích (mô hình hóa kết quả thử nghiệm), bạn biết chính xác mức độ của các biến độc lập là gì, bởi vì bạn đã thao tác / quản lý chúng. Hơn nữa, bạn đã quyết định những mức đó sẽ là gì trước khi bạn bắt đầu thu thập dữ liệu. Vì vậy, bạn đang khái niệm hóa tất cả sự không chắc chắn trong mối quan hệ như tồn tại trong phản ứng. Mặt khác, nếu bạn đang xây dựng một mô hình dự đoán, thì đúng là tình huống sẽ khác, nhưng bạn vẫn đối xử với các dự đoán như thể chúng đã được sửa và biết, bởi vì, trong tương lai, khi bạn sử dụng mô hình để dự đoán về giá trị có khả năng của , bạn sẽ có một vectơ, $y$ $\mathbf x$ và mô hình được thiết kế để xử lý các giá trị đó như thể chúng là chính xác. Đó là, bạn sẽ quan niệm về sự không chắc chắn là giá trị không xác định của . $y$

Các giả định này có thể được nhìn thấy trong phương trình của mô hình hồi quy nguyên mẫu: Một mô hình không chắc chắn (có thể do lỗi đo lường) trong cũng có thể có cùng quy trình tạo dữ liệu ước tính sẽ giống như thế này: trong đó đại diện cho lỗi đo ngẫu nhiên. (Các tình huống như sau này đã dẫn đến lỗi trong các mô hình biến ; kết quả cơ bản là nếu có lỗi đo lường trong , thì ngây thơ

y_{i} = β_{0} + β_{1} x_{i} + ε_{i}

$y_i = \beta_0 + \beta_1x_i + \varepsilon_i$

x

$x$

y_{i} = {\hat{β}}_{0} + {\hat{β}}_{1} (x_{i} + η_{i}) + {\hat{ε}}_{i},

$y_i = \hat\beta_0 + \hat\beta_1(x_i + \eta_i) + \hat\varepsilon_i,$

η

$\eta$

x

$x$

{\hat{β}}_{1}

$\hat\beta_1$ sẽ bị suy giảm - gần bằng 0 so với giá trị thực của nó và nếu có lỗi đo lường trong , các thử nghiệm thống kê của sẽ bị đánh giá thấp, nhưng nếu không thiên vị.)

y

$y$

\hat{β}

$\hat\beta$

Một hệ quả thực tế của nội tại không đối xứng trong giả định điển hình là hồi quy trên khác với hồi quy trên . (Xem câu trả lời của tôi ở đây: Sự khác biệt giữa thực hiện hồi quy tuyến tính trên y với x so với x với y? Để thảo luận chi tiết hơn về thực tế này.) $y$ $x$ $x$ $y$

— gung - Phục hồi Monica
nguồn

Nó có nghĩa là "cố định" | "Ngẫu nhiên" trong ngôn ngữ đơn giản? Và làm thế nào để phân biệt giữa hiệu ứng cố định và ngẫu nhiên (= yếu tố)? Tôi nghĩ rằng trong thiết kế của tôi có 1 yếu tố cố định được biết với 5 cấp độ. Đúng?

— stan

1

@stan, tôi nhận ra sự nhầm lẫn của bạn. Thuật ngữ trong số liệu thống kê thường gây nhầm lẫn và không có ích. Trong trường hợp này, "đã sửa" không hoàn toàn giống như đã sửa trong 'hiệu ứng cố định & hiệu ứng ngẫu nhiên' (mặc dù chúng có liên quan). Ở đây, chúng tôi không nói về các hiệu ứng - chúng tôi đang nói về dữ liệu , tức là các biến dự đoán / biến giải thích của bạn. Cách dễ nhất để hiểu ý tưởng về dữ liệu của bạn đang được sửa chữa là nghĩ về một thử nghiệm có kế hoạch. Trước khi bạn thực hiện bất cứ điều gì, khi bạn thiết kế thử nghiệm, bạn quyết định mức độ giải thích của bạn sẽ là gì, bạn không khám phá chúng trên đường đi.

X

$X$

X

$X$

— gung - Phục hồi Monica

Mô hình dự đoán, điều đó không hoàn toàn đúng, nhưng chúng tôi sẽ xử lý dữ liệu của chúng tôi theo cách đó trong tương lai, khi chúng tôi sử dụng mô hình để đưa ra dự đoán.

X

$X$

— gung - Phục hồi Monica

Tại sao s và có một chiếc mũ ở phương trình dưới cùng, nhưng không nằm trong top đầu?

— dùng1205901

2

@ user1205901, mô hình hàng đầu là của quá trình tạo dữ liệu, phía dưới là ước tính của bạn về nó.

— gung - Phục hồi Monica

8

Các giả định của mô hình hồi quy tuyến tính cổ điển bao gồm:

Thông số tuyến tính và đặc tả mô hình chính xác
Xếp hạng đầy đủ của Ma trận X
Các biến giải thích phải là ngoại sinh
Điều khoản lỗi phân tán và độc lập
Điều khoản lỗi phân tán bình thường trong dân số

Mặc dù các câu trả lời ở đây đã cung cấp một cái nhìn tổng quan tốt về giả định OLS cổ điển, bạn có thể tìm thấy một mô tả toàn diện hơn về giả định của mô hình hồi quy tuyến tính cổ điển ở đây:

https: // ec economtheoryblog.com/2015/04/01/ols_assumptions/

Ngoài ra, bài viết mô tả hậu quả trong trường hợp một người vi phạm một số giả định nhất định.

— Tristian Onari
nguồn

6

Các giả định khác nhau có thể được sử dụng để biện minh cho OLS

Trong một số tình huống, một tác giả kiểm tra phần dư cho tính quy tắc.
- Nhưng trong các tình huống khác, phần dư không bình thường và tác giả vẫn sử dụng OLS!
Bạn sẽ thấy các văn bản nói rằng homoscedasticity là một giả định.
- Nhưng bạn thấy các nhà nghiên cứu sử dụng OLS khi homoscedasticity bị vi phạm.

Đưa cái gì?!

Một câu trả lời là các giả định hơi khác nhau có thể được sử dụng để chứng minh việc sử dụng ước lượng bình phương nhỏ nhất (OLS) thông thường. OLS là một công cụ giống như một cái búa: bạn có thể sử dụng búa trên móng tay nhưng bạn cũng có thể sử dụng nó trên chốt, để phá vỡ băng, v.v ...

Hai loại giả định rộng là những loại áp dụng cho các mẫu nhỏ và các loại dựa trên các mẫu lớn để có thể áp dụng định lý giới hạn trung tâm .

1. Giả định mẫu nhỏ

Các giả định mẫu nhỏ như được thảo luận trong Hayashi (2000) là:

Tuyến tính
Ngoại lệ nghiêm ngặt
Không có đa cộng đồng
Lỗi hình cầu (homoscedasticity)

Theo (1) - (4), định lý Gauss-Markov được áp dụng và công cụ ước lượng bình phương nhỏ nhất thông thường là công cụ ước lượng không thiên vị tuyến tính tốt nhất.

Định mức của các điều khoản lỗi

Hơn nữa giả sử các thuật ngữ lỗi bình thường cho phép kiểm tra giả thuyết . Nếu các điều khoản lỗi là điều kiện bình thường, việc phân phối công cụ ước tính OLS cũng có điều kiện bình thường.

Một điểm đáng chú ý khác là với tính quy phạm, công cụ ước tính OLS cũng là công cụ ước tính khả năng tối đa .

2. Giả định mẫu lớn

Các giả định này có thể được sửa đổi / nới lỏng nếu chúng ta có một mẫu đủ lớn để chúng ta có thể dựa vào định luật số lượng lớn (để thống nhất công cụ ước tính OLS) và định lý giới hạn trung tâm (để phân phối mẫu của công cụ ước tính OLS hội tụ phân phối bình thường và chúng ta có thể thực hiện kiểm tra giả thuyết, nói về giá trị p, v.v ...).

Hayashi là một anh chàng kinh tế vĩ mô và các giả định mẫu lớn của anh ta được xây dựng với bối cảnh chuỗi thời gian trong tâm trí:

tuyến tính
văn phòng phẩm
hồi quy định trước: các thuật ngữ lỗi là trực giao với các điều khoản lỗi đương thời của chúng.
$\operatorname{E}[\mathbf{x}\mathbf{x}']$ là thứ hạng đầy đủ
$\mathbf{x}_i \epsilon_i$ là một chuỗi khác biệt martingale với những khoảnh khắc thứ hai hữu hạn.
Khoảnh khắc thứ 4 hữu hạn của hồi quy

Bạn có thể gặp các phiên bản mạnh hơn của các giả định này, ví dụ: các điều khoản lỗi là độc lập.

Thích hợp giả định mẫu lớn giúp bạn có được một bản phân phối mẫu của ước lượng OLS đó là tiệm bình thường.

Người giới thiệu

Hayashi, Fumio, 2000, Kinh tế lượng

— Matthew Gunn
nguồn

5

Đó là tất cả về những gì bạn muốn làm với mô hình của bạn. Hãy tưởng tượng nếu lỗi của bạn bị sai lệch tích cực / không bình thường. Nếu bạn muốn tạo một khoảng dự đoán, bạn có thể làm tốt hơn là sử dụng phân phối t. Nếu phương sai của bạn nhỏ hơn ở các giá trị dự đoán nhỏ hơn, một lần nữa, bạn sẽ tạo ra một khoảng dự đoán quá lớn.

Tốt hơn là nên hiểu tại sao các giả định ở đó.

— Ađam
nguồn

4

Các sơ đồ sau đây cho thấy những giả định nào được yêu cầu để có được hàm ý nào trong các kịch bản hữu hạn và tiệm cận.

Tôi nghĩ rằng điều quan trọng là không chỉ nghĩ về những giả định là gì, mà còn ý nghĩa của những giả định đó là gì. Ví dụ: nếu bạn chỉ quan tâm đến việc có các hệ số không thiên vị, thì bạn không cần tính đồng nhất.

— DVL
nguồn

2

Sau đây là các giả định của phân tích hồi quy tuyến tính.

Đặc điểm kỹ thuật chính xác . Các hình thức chức năng tuyến tính được chỉ định chính xác.

Ngoại lệ nghiêm ngặt . Các lỗi trong hồi quy nên có giá trị trung bình có điều kiện.

Không có đa hình . Các biến hồi quy trong X phải độc lập tuyến tính.

Homoscedasticity có nghĩa là thuật ngữ lỗi có cùng phương sai trong mỗi quan sát.

Không tự tương quan : các lỗi không tương quan giữa các quan sát.

Bình thường. Đôi khi, người ta cũng cho rằng các lỗi có phân phối bình thường có điều kiện trên các biến hồi quy.

Các quan sát của Iid : độc lập với và có cùng phân phối với, cho tất cả . $(x_i, y_i)$ $(x_j, y_j)$ $i\neq j$

Để biết thêm thông tin truy cập trang này .

— chỉ số tình yêu
nguồn

4

Thay vì "không đa tuyến" tôi sẽ nói "không phụ thuộc tuyến tính". Collinearity thường được sử dụng như một biện pháp liên tục chứ không phải phân loại. Nó chỉ là cộng tác nghiêm ngặt hoặc chính xác bị cấm.

— Peter Flom

2

Điều gì về hồi quy chuỗi thời gian? Những gì về bình phương tối thiểu tổng quát? Danh sách của bạn đọc một chút giống như danh sách các điều răn khi trên thực tế 4 giả định cuối cùng có thể quá hạn chế nếu chúng ta chỉ quan tâm đến tính nhất quán và tính bình thường tiệm cận của ước lượng bình phương tối thiểu.

— mpiktas

1

Multicollinearity làm tăng các vấn đề về giải thích (liên quan đến nhận dạng của một số tham số) nhưng nó chắc chắn không phải là một giả định tiêu chuẩn của các mô hình hồi quy tuyến tính. Gần đa cộng đồng chủ yếu là một vấn đề tính toán nhưng cũng đặt ra những vấn đề tương tự về giải thích.

— whuber

@whuber & Peter Flom: Như tôi đã đọc trong cuốn sách của Gujarati ở trang số. 65-75. tiny.cc/cwb2g Nó tính "không đa cộng tuyến" là một giả định của phân tích hồi quy.

— số liệu thống kê tình yêu

@mpiktas: Nếu bạn truy cập URL đã cho trong câu trả lời thì bạn sẽ thấy giả định về hồi quy chuỗi thời gian.

— số liệu thống kê tình yêu

2

Không có thứ gọi là một danh sách các giả định, sẽ có ít nhất 2: một cho cố định và một cho ma trận thiết kế ngẫu nhiên. Ngoài ra, bạn có thể muốn xem xét các giả định cho hồi quy chuỗi thời gian (xem trang 13)

Trường hợp khi ma trận thiết kế được cố định có thể là trường hợp phổ biến nhất và các giả định của nó thường được biểu diễn dưới dạng định lý Gauss-Markov . Thiết kế cố định có nghĩa là bạn thực sự kiểm soát các biến hồi quy. Chẳng hạn, bạn tiến hành một thí nghiệm và có thể đặt các tham số như nhiệt độ, áp suất, v.v. Xem thêm trang 13 tại đây . $X$

Thật không may, trong các ngành khoa học xã hội như kinh tế, bạn hiếm khi có thể kiểm soát các thông số của thí nghiệm. Thông thường, bạn quan sát những gì xảy ra trong nền kinh tế, ghi lại các số liệu môi trường, sau đó hồi quy chúng. Hóa ra đó là một tình huống rất khác và khó khăn hơn, được gọi là một thiết kế ngẫu nhiên . Trong trường hợp này, định lý Gauss-Markov được sửa đổi cũng xem p.12 ở đây . Bạn có thể thấy các điều kiện hiện được thể hiện như thế nào theo xác suất có điều kiện , đây không phải là một thay đổi vô hại.

Trong kinh tế lượng, các giả định có tên:

tuyến tính
ngoại sinh nghiêm ngặt
không có đa cộng đồng
phương sai sai số hình cầu (bao gồm tính đồng nhất và không tương quan)

Lưu ý rằng tôi không bao giờ đề cập đến tính bình thường. Đó không phải là một giả định tiêu chuẩn. Nó thường được sử dụng trong các khóa hồi quy giới thiệu vì nó làm cho một số dẫn xuất dễ dàng hơn, nhưng nó không bắt buộc để hồi quy hoạt động và có các thuộc tính đẹp.

— Aksakal
nguồn

1

Giả định của tuyến tính là mô hình là tuyến tính trong các tham số. Sẽ rất tốt nếu có một mô hình hồi quy với các hiệu ứng bậc hai hoặc bậc cao hơn miễn là hàm công suất của biến độc lập là một phần của mô hình phụ gia tuyến tính. Nếu mô hình không chứa các điều khoản bậc cao hơn khi cần, thì sự thiếu phù hợp sẽ được thể hiện rõ trong âm mưu của phần dư. Tuy nhiên, các mô hình hồi quy tiêu chuẩn không kết hợp các mô hình trong đó biến độc lập được nâng lên thành sức mạnh của một tham số (mặc dù có các cách tiếp cận khác có thể được sử dụng để đánh giá các mô hình đó). Các mô hình như vậy chứa các tham số phi tuyến tính.

— Tư vấn Thống kêDoc
nguồn

1

Hệ số hồi quy bình phương nhỏ nhất cung cấp một cách để tóm tắt xu hướng thứ tự đầu tiên trong bất kỳ loại dữ liệu nào. @mpiktas trả lời là một điều trị triệt để các điều kiện theo đó các bình phương nhỏ nhất đang ngày càng tối ưu. Tôi muốn đi theo con đường khác và hiển thị trường hợp tổng quát nhất khi hình vuông nhỏ nhất hoạt động. Chúng ta hãy xem công thức tổng quát nhất của phương trình bình phương nhỏ nhất:

E [Y | X] = α + β X

$E[Y|X] = \alpha + \beta X$

Nó chỉ là một mô hình tuyến tính cho trung bình có điều kiện của phản ứng.

Lưu ý tôi đã khóa thuật ngữ lỗi. Nếu bạn muốn tóm tắt tính không chắc chắn của , thì bạn phải kháng cáo với định lý giới hạn trung tâm. Loại ước lượng bình phương nhỏ nhất chung hội tụ về mức bình thường khi điều kiện Lindeberg được đáp ứng : đun sôi, điều kiện Lindeberg cho bình phương tối thiểu yêu cầu tỷ lệ phần bình phương lớn nhất còn lại bằng tổng của phần dư bình phương phải về 0 như . Nếu thiết kế của bạn sẽ tiếp tục lấy mẫu dư lớn hơn và lớn hơn, thì thử nghiệm sẽ "chết trong nước". $\beta$ $n \rightarrow \infty$

Khi điều kiện Lindeberg được đáp ứng, tham số hồi quy được xác định rõ và công cụ ước tính là một công cụ ước tính không thiên vị có phân phối xấp xỉ đã biết. Ước tính hiệu quả hơn có thể tồn tại. Trong các trường hợp khác của tính không đồng nhất, hoặc dữ liệu tương quan, thông thường một công cụ ước lượng có trọng số sẽ hiệu quả hơn . Đó là lý do tại sao tôi sẽ không bao giờ ủng hộ việc sử dụng các phương pháp ngây thơ khi những phương pháp tốt hơn có sẵn. Nhưng họ thường không! $\beta$ $\hat{\beta}$

— Adam
nguồn

1

Đối với các nhà kinh tế lượng: Điều đáng chú ý là điều kiện này hàm ý tính ngoại sinh nghiêm ngặt, do đó, tính ngoại lệ nghiêm ngặt không cần phải được nêu như một giả định trong mô hình trung bình có điều kiện. Nó là tự động đúng, về mặt toán học. (Nói lý thuyết ở đây, không phải ước tính.)

— Peter Westfall

Một danh sách đầy đủ các giả định thông thường cho hồi quy tuyến tính là gì?

Các giả định khác nhau có thể được sử dụng để biện minh cho OLS

1. Giả định mẫu nhỏ

2. Giả định mẫu lớn

Người giới thiệu