Tôi đọc rằng đây là những điều kiện để sử dụng mô hình hồi quy bội:

1. phần dư của mô hình gần như bình thường,
2. độ biến thiên của phần dư gần như không đổi
3. phần dư là độc lập, và
4. mỗi biến có liên quan tuyến tính đến kết quả.

Làm thế nào là 1 và 2 khác nhau?

Bạn có thể thấy một ở đây ngay:

Vì vậy, biểu đồ trên nói rằng phần dư có 2 độ lệch chuẩn là 10 so với Y-hat. Điều đó có nghĩa là phần dư tuân theo phân phối bình thường. Bạn có thể suy ra 2 từ này không? Rằng sự biến thiên của phần dư gần như không đổi?

1. Phân phối bình thường của phần dư :

Điều kiện thông thường có hiệu lực khi bạn đang cố gắng đạt được khoảng tin cậy và / hoặc giá trị p.

$\varepsilon\vert X\sim N (0,\sigma^2 I_n)$ không phải là điều kiện Gauss Markov .

Biểu đồ này cố gắng minh họa sự phân bố các điểm trong dân số bằng màu xanh lam (với đường hồi quy dân số là một đường màu lục lam), được đặt trên một tập dữ liệu mẫu trong các chấm màu vàng lớn (với đường hồi quy ước tính được vẽ ở đường màu vàng nét đứt). Rõ ràng điều này chỉ dành cho tiêu dùng theo khái niệm, vì sẽ có các điểm vô cực cho mỗi giá trị ) - vì vậy đây là sự phân biệt biểu tượng đồ họa của khái niệm hồi quy khi phân phối liên tục các giá trị xung quanh giá trị trung bình (tương ứng với giá trị dự đoán của biến "độc lập") tại mỗi giá trị đã cho của biến hồi quy hoặc biến giải thích.$X = x$

Nếu chúng tôi chạy các ô chẩn đoán R trên dữ liệu "dân số" mô phỏng, chúng tôi sẽ nhận được ...

Phương sai của phần dư là không đổi dọc theo tất cả các giá trị của$X.$

Cốt truyện điển hình sẽ là:

Về mặt khái niệm, việc giới thiệu nhiều biến hồi quy hoặc biến giải thích không làm thay đổi ý tưởng. Tôi thấy hướng dẫn thực hành của gói swirl()cực kỳ hữu ích trong việc hiểu làm thế nào nhiều hồi quy thực sự là một quá trình hồi quy các biến phụ thuộc với nhau mang lại sự thay đổi còn lại, không giải thích được trong mô hình; hoặc đơn giản hơn, một dạng véc tơ của hồi quy tuyến tính đơn giản :

Kỹ thuật chung là chọn một biến hồi quy và thay thế tất cả các biến khác bằng phần dư của hồi quy của chúng so với biến đó.

2. Độ biến thiên của phần dư gần như không đổi (Homoskedasticity) :

$E[ \varepsilon_i^2 \vert X ] = \sigma^2$

Các vấn đề với vi phạm điều kiện này là:

Sự không đồng nhất có những hậu quả nghiêm trọng đối với người ước tính OLS. Mặc dù công cụ ước tính OLS vẫn không thiên vị, SE ước tính là sai. Bởi vì điều này, khoảng tin cậy và các giả thuyết kiểm tra không thể dựa vào. Ngoài ra, công cụ ước tính OLS không còn XANH LÁ.

Trong biểu đồ này, phương sai tăng theo các giá trị của biến hồi quy (biến giải thích), trái ngược với hằng số. Trong trường hợp này, phần dư được phân phối bình thường, nhưng phương sai của phân phối bình thường này thay đổi (tăng) với biến giải thích.

Lưu ý rằng đường hồi quy "thực" (dân số) không thay đổi đối với đường hồi quy dân số theo độ đồng nhất trong ô thứ nhất (màu xanh đậm), nhưng rõ ràng bằng trực giác rằng các ước tính sẽ không chắc chắn hơn.

Các lô chẩn đoán trên tập dữ liệu là ...

tương ứng với phân phối "đuôi nặng" , điều có ý nghĩa là chúng ta đã kính thiên văn tất cả các âm mưu Gaussian dọc "cạnh nhau" thành một hình duy nhất, sẽ giữ lại hình dạng chuông của nó, nhưng có đuôi rất dài.

@Glen_b "... một phạm vi bảo hiểm đầy đủ về sự khác biệt giữa hai người cũng sẽ xem xét homoskedastic-nhưng-không-bình thường."

Phần dư bị lệch nhiều và phương sai tăng theo các giá trị của biến giải thích.

Đây sẽ là các lô chẩn đoán ...

tương ứng với đánh dấu xiên phải.

Để đóng vòng lặp, chúng ta cũng sẽ thấy sự sai lệch trong một mô hình homoskedastic với phân phối lỗi không theo Gaussian:

với các lô chẩn đoán như ...

Đó không phải là lỗi của OP, nhưng tôi bắt đầu cảm thấy mệt mỏi khi đọc thông tin sai lệch như thế này.

Tôi đọc rằng đây là những điều kiện để sử dụng mô hình hồi quy bội:

the residuals of the model are nearly normal,
the variability of the residuals is nearly constant
the residuals are independent, and
each variable is linearly related to the outcome.

"Mô hình hồi quy bội" chỉ là một nhãn khai báo rằng một biến có thể được biểu diễn dưới dạng hàm của các biến khác.

Không phải là thuật ngữ lỗi thực sự cũng như phần dư của mô hình cần gần như bất cứ thứ gì cụ thể - nếu phần dư trông bình thường, điều này tốt cho suy luận thống kê tiếp theo .

Độ biến thiên (phương sai) của thuật ngữ lỗi không cần phải gần như không đổi - nếu không, chúng ta có một mô hình với độ không đồng nhất mà ngày nay khá dễ xử lý.

Phần dư không độc lập trong mọi trường hợp, vì mỗi phần là một hàm của toàn bộ mẫu. Các thuật ngữ lỗi thực sự không cần phải độc lập - nếu chúng không phải là một mô hình với tự tương quan, mặc dù khó khăn hơn so với tính không đồng nhất, có thể được xử lý ở mức độ.

Mỗi biến không cần liên quan tuyến tính đến kết quả. Trong thực tế, sự khác biệt giữa hồi quy "tuyến tính" và "phi tuyến tính" không liên quan gì đến mối quan hệ giữa các biến - nhưng về cách các hệ số chưa biết đi vào mối quan hệ.

Điều người ta có thể nói là nếu ba lần giữ đầu tiên và lần thứ tư được nêu đúng, thì chúng ta có được "Mô hình hồi quy tuyến tính bình thường cổ điển", đây chỉ là một biến thể (mặc dù là biến thể đầu tiên) của nhiều mô hình hồi quy.

Antoni Parellada đã có một câu trả lời hoàn hảo với hình minh họa đồ họa đẹp.

Tôi chỉ muốn thêm một bình luận để tóm tắt sự khác biệt giữa hai câu

1. phần dư của mô hình gần như bình thường

2. độ biến thiên của phần dư gần như không đổi

• Tuyên bố 1 cho "hình dạng" của phần dư là "đường cong hình chuông" .
• Tuyên bố 2 tinh chỉnh sự lan truyền của "hình dạng" (không đổi), trong âm mưu 3. của Antoni Parellada, có 3 đường cong hình chuông, nhưng chúng có độ lan truyền khác nhau.

Không có một bộ giả định hồi quy duy nhất nào, nhưng có một số biến thể ngoài kia. Một số trong các giả định này chặt chẽ hơn, tức là hẹp hơn so với các bộ khác. Ngoài ra, trong hầu hết các trường hợp bạn không cần và, trong nhiều trường hợp, thực sự không thể cho rằng phân phối là bình thường.

Các giả định mà bạn trích dẫn chặt chẽ hơn hầu hết, nhưng chúng được xây dựng bằng ngôn ngữ lỏng lẻo không cần thiết. Ví dụ, những gì là chính xác gần ? Ngoài ra, đó không phải là phần dư mà chúng tôi áp đặt các giả định, đó là lỗi . Phần dư là ước tính của các lỗi, không thể quan sát được. Điều này cho tôi biết rằng bạn đang trích dẫn từ một nguồn nghèo. Ném nó ra ngoài.

Câu trả lời ngắn gọn cho câu hỏi của bạn là nếu bạn xem xét bất kỳ phân phối nào, ví dụ phân phối Student t, cho các lỗi của bạn (tôi sẽ sử dụng thuật ngữ chính xác trong câu trả lời của tôi) thì bạn có thể thấy các lỗi có thể có biến thể "gần như không đổi" mà không phải từ phân phối chuẩn và làm thế nào có phương sai "gần như không đổi" không yêu cầu phân phối bình thường. Nói cách khác, không, bạn không thể đưa ra một giả định từ một giả định khác mà không có yêu cầu bổ sung.

Một yêu cầu như vậy có thể đến từ một công thức phổ biến của mô hình hồi quy như sau: Ở đây, trong công thức thứ hai, chúng tôi gần như hồi quy các giả định cùng một lúc:

1. "phần dư của mô hình gần như bình thường" - đây là thực tế mà chúng tôi đã sử dụng trong công thức, viết tắt của phân phối (Gaussian) bình thường$\mathcal N(.)$
2. "độ biến thiên của phần dư gần như không đổi" - điều này đang sử dụng một hằng số cho tất cả các lỗiε $\sigma$$\varepsilon_i$
3. "phần dư là độc lập" - điều này xuất phát từ việc sử dụng không phụ thuộc vào bất cứ điều gì có liên quan đến lỗi hoặc hồi quy$\mathcal N$$X$
4. "mỗi biến là tuyến tính liên quan đến kết quả" - đây là dạng$y=X\beta$

Vì vậy, khi chúng ta kết hợp tất cả các giả định theo cách này trong một hoặc hai phương trình, có vẻ như tất cả chúng đều phụ thuộc vào nhau, điều đó không đúng. Tôi sẽ chứng minh điều này tiếp theo.

ví dụ 1

Hãy tưởng tượng rằng thay vì mô hình trên, tôi nêu như sau: Ở đây, tôi nói rằng các lỗi là do phân phối của Sinh viên với độ tự do. Các lỗi sẽ có phương sai không đổi, tất nhiên, và chúng không phải là Gaussian.

Ví dụ 2

Tôi đã cố gắng thêm một chiều mới cho cuộc thảo luận và làm cho nó tổng quát hơn. Xin thứ lỗi cho tôi nếu quá thô sơ.

Mô hình hồi quy là một phương thức chính thức để thể hiện hai thành phần thiết yếu của mối quan hệ thống kê:

1. $Y$$X$
2. Một sự phân tán các điểm xung quanh đường cong của mối quan hệ thống kê.

$Y$

Bằng cách quy định rằng:

1. $Y$$X$

2. $X$

$Y$

$Y$$X$

$Y$$X$$Y$$X$

Nguồn: Mô hình thống kê tuyến tính ứng dụng, KNNL

$Y$$X$

$Y_i$$X_i$

$\beta_0\\$$\beta_1\\$ là các tham số

$\epsilon\\$$N(O,\sigma^2)$

$i$ = 1, ..., n

Vì vậy, để ước tính chúng ta cần ước tính ba tham số đó là: , và . Chúng ta có thể thấy rằng bằng cách lấy đạo hàm riêng của hàm khả năng wrt , và và đánh giá chúng bằng không. Điều này trở nên tương đối dễ dàng theo giả định về tính quy tắc.β $E(Y|X)$$\beta_0\\$$\beta_1\\$β $\sigma^2$$\beta_0\\$$\beta_1\\$$\sigma^2$

the residuals of the model are nearly normal,
the variability of the residuals is nearly constant
the residuals are independent, and
each variable is linearly related to the outcome.

Làm thế nào là 1 và 2 khác nhau?

Đến với câu hỏi

Các giả định thứ nhất và thứ hai như bạn đã nêu là hai phần của cùng một giả định về tính quy tắc với giá trị trung bình bằng không và phương sai không đổi. Tôi nghĩ rằng câu hỏi nên được đặt ra là ý nghĩa của hai giả định đối với mô hình hồi quy lỗi thông thường hơn là sự khác biệt giữa hai giả định. Tôi nói điều đó bởi vì nó có vẻ giống như so sánh táo với cam bởi vì bạn đang cố gắng tìm ra sự khác biệt giữa các giả định về việc phân phối một điểm phân tán và các giả định về tính biến thiên của nó. Sự thay đổi là một tài sản của một phân phối. Vì vậy, tôi sẽ cố gắng trả lời câu hỏi phù hợp hơn về ý nghĩa của hai giả định.

Theo giả định về tính quy tắc, các công cụ ước tính khả năng tối đa ( MLE ) giống như các công cụ ước tính bình phương nhỏ nhất và MLE được hưởng đặc tính là UMVUE , có nghĩa là chúng có phương sai tối thiểu trong số tất cả các công cụ ước tính.

Giả định về tính đồng nhất cho phép người ta thiết lập các ước tính khoảng cho các tham số và và thực hiện các thử nghiệm quan trọng. -test được sử dụng để kiểm tra ý nghĩa thống kê mạnh mẽ đối với những sai lệch nhỏ so với tính chuẩn.$\beta_0\\$$\beta_1\\$$t$