Hãy xem xét mô hình tuyến tính đơn giản:

$$\pmb{y}=X'\pmb{\beta}+\epsilon$$

trong đó $\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$ và $X\in\mathbb{R}^{n\times p}$ ,$p\geq2$ và$X$ chứa một cột của hằng số.

Câu hỏi của tôi là, cho $\mathrm{E}(X'X)$ , $\beta$ và $\sigma$ , là có một công thức cho một tổ chức phi tầm thường trên ràng buộc trên $\mathrm{E}(R^2)$ *? (giả sử mô hình được ước tính bởi OLS).

* Tôi giả sử, viết cái này, rằng nhận $E(R^2)$ sẽ không thể thực hiện được.

EDIT1

sử dụng giải pháp có nguồn gốc từ Stéphane Laurent (xem bên dưới), chúng ta có thể có được giới hạn trên không tầm thường trên $E(R^2)$ . Một số mô phỏng số (bên dưới) cho thấy ràng buộc này thực sự khá chặt chẽ.

Stéphane Laurent có nguồn gốc như sau: $R^2\sim\mathrm{B}(p-1,n-p,\lambda)$ nơi $\mathrm{B}(p-1,n-p,\lambda)$ là một phân phối Beta phi trung tâm với trung tâm phi tham số $\lambda$ với

$$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$$

Vì thế

$$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$$

nơi là một tổ chức phi trung tâm χ 2 với tham số λ và k bậc tự do. Vì vậy, một giới hạn trên không tầm thường đối với E ( R 2 ) là$\chi^2_{k}(\lambda)$$\chi^2$$\lambda$$k$$\mathrm{E}(R^2)$

$$\frac{\lambda+p-1}{\lambda+n-1}$$

nó rất chặt chẽ (chặt chẽ hơn nhiều so với những gì tôi dự kiến ​​sẽ có thể):

ví dụ: sử dụng:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

giá trị trung bình của trên 1000 mô phỏng là . Các lý thuyết trên ràng buộc trên cho . Các ràng buộc dường như chính xác như nhau trên nhiều giá trị của R 2 . Thật đáng kinh ngạc!$R^2$0.9608190.9609081$R^2$

EDIT2:

sau khi nghiên cứu sâu hơn, nó xuất hiện rằng chất lượng của xấp xỉ ràng buộc trên để sẽ nhận được tốt hơn như λ + p tăng (và tất cả như nhau, khác λ tăng với n ).$E(R^2)$$\lambda+p$$\lambda$$n$

Bất kỳ mô hình tuyến tính có thể được viết nơi G có phân phối chuẩn tiêu chuẩn trên R n và μ được giả định là thuộc về một không gian con W của R n . Trong trường hợp của bạn W = Im ( $\boxed{Y=\mu+\sigma G}$$G$$\mathbb{R}^n$$\mu$$W$$\mathbb{R}^n$$W=\text{Im}(X)$ .

Hãy là một chiều không gian con sinh ra bởi các vector ( 1 , 1 , ... , 1 ) . Lấy U = [ 1 ] dưới đây, R 2 được đánh giá cao có liên quan đến cổ điển Fisher thống kê F = ‖ P Z Y ‖ 2 / ( m - ℓ $[1] \subset W$$(1,1,\ldots,1)$$U=[1]$$R^2$ cho thử nghiệm giả thuyết củaH0:{L∈U}nơiU⊂Wlà một không gian con, và biểu thị bởi Z=U⊥∩Wsự bổ sung trực giao củaUtrongW, và biểu thịm=dim(W)vàℓ=dim(U

$$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$$ $H_0\colon\{\mu \in U\}$$U\subset W$$Z=U^\perp \cap W$$U$$W$$m=\dim(W)$$\ell=\dim(U)$ (sau đó và ℓ = 1 trong tình huống của bạn).$m=p$$\ell=1$

Thật vậy, vì định nghĩa củaR2là R2= ‖ P Z Y ‖

$$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$$ $R^2$ $$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$$

Rõ ràng và P ⊥ W Y = σ P ⊥ W G .$\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$$\boxed{P_W^\perp Y = \sigma P_W^\perp G}$

Khi là đúng$H_0\colon\{\mu \in U\}$ rồi và do đó F = ‖ P Z G ‖ 2 / ( m - ℓ $P_Z \mu = 0$ có FisherFm-ℓ,n-mphân phối. Do đó, từ mối quan hệ cổ điển giữa phân bố Fisher và phân phối Beta,R2~B(m-ℓ,n-m).

$$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$$ $F_{m-\ell,n-m}$$R^2 \sim {\cal B}(m-\ell, n-m)$

Trong tình hình chung chúng ta phải đối phó với khi P Z L ≠ 0 . Trong trường hợp một chung này có ‖ P Z Y ‖ 2 ~ σ 2 χ 2 m - ℓ ( λ ) , các noncentral χ 2 phân phối với m - ℓ bậc tự do và noncentrality tham số λ = $P_Z Y = P_Z \mu + \sigma P_Z G$$P_Z\mu \neq 0$${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$$\chi^2$$m-\ell$$\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$$\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$$F$ -tests.

$R^2$$m-\ell$$n-m$$\lambda$ . Tôi nghĩ rằng những khoảnh khắc có sẵn trong tài liệu nhưng chúng có thể rất phức tạp.

$P_Z\mu$$P_Z = P_W - P_U$. One has $P_U \mu = \bar\mu 1$ when $U=[1]$, and $P_W \mu = \mu$. Hence $P_Z \mu =\mu - \bar\mu 1$ where here $\mu=X\beta$ for the unknown parameters vector $\beta$.