Mối quan hệ giữa bình phương R và giá trị p trong hồi quy là gì?

tl; dr - đối với hồi quy OLS, bình phương R cao hơn cũng có nghĩa là giá trị P cao hơn? Cụ thể cho một biến giải thích duy nhất (Y = a + bX + e) ​​nhưng cũng sẽ được quan tâm để biết cho n nhiều biến giải thích (Y = a + b1X + ... bnX + e).

Bối cảnh - Tôi đang thực hiện hồi quy OLS trên một loạt các biến và đang cố gắng phát triển dạng hàm giải thích tốt nhất bằng cách tạo một bảng chứa các giá trị bình phương R giữa các biến đổi tuyến tính, logarit, v.v., biến đổi của từng biến giải thích (độc lập) và biến phản ứng (phụ thuộc). Điều này trông hơi giống:

Tên biến - dạng biểu mẫu-- --ln (biến) - khai thác (biến) - ... vv

Biến 1 ------- R bình phương ---- R bình phương ---- R bình phương -
... vv ...

Tôi tự hỏi nếu R bình phương là phù hợp hoặc nếu giá trị P sẽ tốt hơn. Có lẽ có một số mối quan hệ, vì một mối quan hệ quan trọng hơn sẽ ngụ ý khả năng giải thích cao hơn, nhưng không chắc chắn nếu điều đó là đúng theo một cách nghiêm ngặt.

Câu trả lời là không, không có mối quan hệ thường xuyên như vậy giữa và giá trị p hồi quy tổng thể, bởi vì R 2 phụ thuộc nhiều vào phương sai của các biến độc lập như nó phụ thuộc vào phương sai của phần dư (mà nó nghịch đảo tỷ lệ thuận) và bạn có thể tự do thay đổi phương sai của các biến độc lập bằng số tiền tùy ý.$R^2$$R^2$

Ví dụ, xem xét bất kỳ tập hợp dữ liệu đa biến nào với i lập chỉ mục các trường hợp và giả sử rằng tập hợp các giá trị của biến độc lập đầu tiên, { x i 1 } , có tối đa duy nhất x * tách ra khỏi giá trị cao thứ hai bởi một lượng dương ε . Áp dụng một phép biến đổi phi tuyến tính của biến đầu tiên gửi tất cả các giá trị nhỏ hơn$((x_{i1}, x_{i2}, \ldots, x_{ip}, y_i))$$i$$\{x_{i1}\}$$x^*$$\epsilon$ đến phạm vi [ 0 , 1 ] và gửi x * tự đối với một số giá trị lớn M » 1 . Đối với bất kỳ ví dụ M này có thể được thực hiện bởi một chuyển đổi Box-Cox (quy mô) phù hợp x → một ( ( x - x 0 ) λ - 1 ) / ( λ - 1 ) ) , ví dụ, vì vậy chúng tôi không nói về bất cứ điều gì lạ hoặc "bệnh lý." Sau đó, như$x^* - \epsilon/2$$[0,1]$$x^*$$M \gg 1$$M$$x \to a((x-x_0)^\lambda - 1)/(\lambda-1))$$M$phát triển lớn tùy ý, tiếp cận 1 gần như bạn muốn, bất kể mức độ phù hợp là bao nhiêu, bởi vì phương sai của phần dư sẽ bị giới hạn trong khi phương sai của biến độc lập đầu tiên tỷ lệ thuận với M 2 .$R^2$$1$$M^2$

Thay vào đó, bạn nên sử dụng độ tốt của các thử nghiệm độ phù hợp (trong số các kỹ thuật khác) để chọn một mô hình phù hợp trong khám phá của bạn: bạn nên quan tâm đến tính tuyến tính của độ phù hợp và độ đồng nhất của phần dư. Và đừng lấy bất kỳ giá trị p nào từ hồi quy kết quả dựa trên niềm tin: chúng sẽ gần như vô nghĩa sau khi bạn trải qua bài tập này, bởi vì cách giải thích của chúng giả định rằng sự lựa chọn biểu thị các biến độc lập không phụ thuộc vào giá trị của biến phụ thuộc ở tất cả, đó là rất nhiều không phải là trường hợp ở đây.

Câu trả lời này không trực tiếp giải quyết câu hỏi trung tâm; không có gì nhiều hơn một số thông tin bổ sung quá dài cho một bình luận.

Tôi chỉ ra điều này bởi vì nghi ngờ kinh tế lượng sẽ không nghi ngờ gì khi gặp thông tin này, hoặc một cái gì đó giống như nó ở một thời điểm nào đó (nói rằng và R 2 có liên quan) và tự hỏi liệu thông tin trong các câu trả lời khác ở đây có sai không - nhưng tôi nghĩ nó trả tiền để được rõ ràng về những gì đang xảy ra.$F$$R^2$

Có một mối quan hệ dưới một tập hợp hoàn cảnh cụ thể; nếu bạn giữ số lượng quan sát và số lượng dự đoán cố định cho một mô hình nhất định, thực tế là đơn điệu trong R 2 , kể từ đó$F$$R^2$

(Nếu bạn chia tử số và mẫu số cho và kéo các hằng số trong k ra, bạn có thể thấy rằng 1 / F ∝ 1 / R 2 - 1 nếu bạn giữ N và k không đổi.)$R^2$$k$$1/F \propto 1/R^2 - 1$$N$$k$

Vì đối với df cố định và giá trị p có liên quan đơn điệu, R 2 và giá trị p cũng liên quan đơn điệu.$F$$R^2$$p$

Nhưng thay đổi hầu hết mọi thứ về mô hình và mối quan hệ đó không giữ được hoàn cảnh thay đổi.

Ví dụ: việc thêm một điểm làm cho lớn hơn và loại bỏ một điểm làm cho nó nhỏ hơn nhưng thực hiện có thể tăng hoặc giảm R 2 , do đó, có vẻ như F và R 2 không nhất thiết phải di chuyển cùng nhau nếu bạn thêm hoặc xóa dữ liệu. Thêm một biến giảm ( N - k ) / ( k - 1 ) nhưng tăng R 2 (và ngược lại), do đó, một lần nữa, R 2 không nhất thiết liên quan đến$(N-k)/(k-1)$$R^2$$F$$R^2$ $(N-k)/(k-1)$$R^2$$R^2$ khi bạn làm điều đó.$F$

Rõ ràng, một khi bạn so sánh và p -values trên mô hình với những đặc điểm khác nhau, mối quan hệ này không nhất thiết phải giữ, như whuber chứng minh trong trường hợp biến đổi phi tuyến.$R^2$$p$

"đối với hồi quy OLS, bình phương R cao hơn cũng có nghĩa là giá trị P cao hơn phải không? Cụ thể cho một biến giải thích duy nhất (Y = a + bX + e)"

$R^2$$F$$t$$R^2$$p$$t$$R^2$

$|t| = \sqrt{\frac{R^2}{(1- R^2)}(n -2)}$

$n$$R^2$$t$

"nhưng cũng sẽ được quan tâm để biết cho n nhiều biến giải thích (Y = a + b1X + ... bnX + e)."

$F$$n$

Bối cảnh - Tôi đang thực hiện hồi quy OLS trên một loạt các biến và đang cố gắng phát triển dạng hàm giải thích tốt nhất (...)

$R^2$

$R^2$