Hồi quy tuyến tính khi bạn chỉ biết , không phải trực tiếp

Giả sử . $X\beta =Y$

Chúng tôi không biết chính xác, chỉ có sự tương quan của nó với mỗi dự đoán, . $Y$ $X^\mathrm{t}Y$

Giải pháp bình phương nhỏ nhất (OLS) là và không có vấn đề gì. $\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y$

Nhưng giả sử ở gần số ít (đa cộng tuyến) và bạn cần ước tính tham số sườn núi tối ưu. Tất cả các phương pháp dường như cần các giá trị chính xác của . $X^\mathrm{t}X$ $Y$

Có phương pháp nào khác không khi chỉ biết ? $X^\mathrm{t}Y$

regression multicollinearity

— Jag
nguồn

câu hỏi thú vị Có lẽ một số loại thuật toán EM sẽ hoạt động ...

— xác suất

Tôi không hiểu, bạn không thể sử dụng xác thực chéo để ước tính tham số sườn núi tối ưu?

— Pardis

@Pardis: Không có chức năng mất nào được đưa ra trong câu hỏi vì vậy chúng tôi không biết phương tiện tối ưu là gì. Bạn có thể thấy những rắc rối chúng ta gặp phải nếu chức năng mất là MSE không?

— Đức hồng y

@JohnSmith: Bạn đang ám chỉ đến điểm mà tôi đang lái xe. Không có chỉ dẫn về cách đo lường "sự tối ưu". Những gì bạn đang làm một cách hiệu quả là giới thiệu một số liệu khác nhau (hàm khoảng cách) để đo lường "chất lượng" của dự đoán hoặc mức độ phù hợp. Chúng tôi cần thêm thông tin chi tiết từ OP để đi rất xa, tôi nghi ngờ.

— Đức hồng y

@Pardis: Tìm các ước tính không phải là vấn đề, như bạn lưu ý. :) Tuy nhiên, nếu bạn quyết định thực hiện xác định giá trị chéo, bạn sẽ ước tính MSE ngoài mẫu như thế nào, ở nếp gấp bên trái cho mỗi lần lặp? :)

— Đức hồng y

Câu trả lời:

Đây là một câu hỏi thú vị. Đáng ngạc nhiên, có thể làm một cái gì đó theo các giả định nhất định, nhưng có khả năng mất thông tin về phương sai còn lại. Nó phụ thuộc vào mất bao nhiêu. $X$

Hãy xem xét các giá trị phân hủy ít sau của với một ma trận với các cột trực giao, một đường chéo ma trận với các giá trị đặc biệt tích cực theo đường chéo và a ma trận trực giao. Sau đó, các cột của tạo thành một cơ sở trực giao cho không gian cột của và là vectơ của các hệ số cho phép chiếu lên không gian cột này khi được mở rộng trong $\newcommand{\t}{^\mathrm{t}}X = UDV\t$ $X$ $U$ $n \times p$ $D$ $d_1 \geq d_2 \geq ... \geq d_p > 0$ $V$ $p \times p$ $U$ $X$

Z = = {Bạn}^{t} Y = = D^{- 1} V^{t} V D {Bạn}^{t} Y = = D^{- 1} V^{t} X^{t} Y

$Z = U\t Y = D^{-1} V\t V D U\t Y = D^{-1} V\t X\t Y$

Y

$Y$

U

$U$ Cơ sở U. Từ công thức chúng ta thấy rằng là tính toán từ kiến thức của và chỉ.

Z

$Z$

X

$X$

X^{t} Y

$X\t Y$

Vì công cụ dự báo hồi quy sườn cho một có thể được tính là chúng ta thấy rằng các hệ số của công cụ dự báo hồi quy sườn trong cơ sở -column là Bây giờ chúng ta hãy giả định phân phối mà có trung bình chiều và hiệp phương sai ma trận . Khi đó có -dimensional có nghĩa là và ma trận hiệp phương sai . Nếu chúng ta tưởng tượng một độc lập $\lambda$

\hat{Y} = = X (X^{t} X + λ Tôi)^{- 1} X^{t} Y = = Bạn D (D^{2} + λ Tôi)^{- 1} D {Bạn}^{t} Y = = Bạn D (D^{2} + λ Tôi)^{- 1} D Z

$\hat{Y} = X(X\t X + \lambda I)^{-1} X\t Y = U D(D^2 + \lambda I)^{-1} D U\t Y = U D(D^2 + \lambda I)^{-1} D Z$

U

$U$

\hat{Z} = = D (D^{2} + λ Tôi)^{- 1} D Z .

$\hat{Z} = D (D^2 + \lambda I)^{-1} D Z.$

Y

$Y$

n

$n$

ξ

$\xi$

σ^{2} I_{n}

$\sigma^2 I_n$

Z

$Z$

p

$p$

U^{t} ξ

$U\t \xi$

σ^{2} I_{p}

$\sigma^2 I_p$

Y^{New}

$Y^{\text{New}}$ có cùng phân phối với (mọi thứ có điều kiện trên từ đây), có cùng phân phối dưới dạng và độc lập và Ở đây, đẳng thức thứ ba theo sau tính trực giao của và và thứ tư bởi thực tế là

Y

$Y$

X

$X$

Z^{New} = U^{t} Y^{New}

$Z^{\text{New}} = U\t Y^{\text{New}}$

Z

$Z$

\begin{array}{rcl} E | | Y^{Mới} - \hat{Y} | |^{2} & = = & E | | Y^{Mới} - Bạn Z^{Mới} + Bạn Z^{Mới} - Bạn \hat{Z} | |^{2} \\ = = & E | | Y^{Mới} - Bạn Z^{Mới} | |^{2} + E | | Bạn Z^{Mới} - Bạn \hat{Z} | |^{2} \\ = = & Ơ_{0} + E | | Z^{Mới} - \hat{Z} | |^{2} . \end{array}

$\begin{eqnarray*} E ||Y^{\text{New}} - \hat{Y}||^2 &= & E || Y^{\text{New}} - U Z^{\text{New}} + U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & E || Y^{\text{New}} - U Z^{\text{New}}||^2 + E||U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & \text{Err}_0 + E||Z^{\text{New}} - \hat{Z} ||^2. \end{eqnarray*}$

Y^{New} - U Z^{New}

$Y^{\text{New}} - U Z^{\text{New}}$

U Z^{New} - U \hat{Z}

$U Z^{\text{New}} - U \hat{Z}$

U

$U$ có các cột trực giao. Số lượng là một lỗi mà chúng tôi không thể nhận được bất kỳ thông tin nào, nhưng nó cũng không phụ thuộc vào . Để giảm thiểu lỗi dự đoán ở phía bên trái, chúng ta phải giảm thiểu thuật ngữ thứ hai ở phía bên tay phải.

{Err}_{0}

$\text{Err}_0$

λ

$\lambda$

Bằng cách tính toán tiêu chuẩn Ở đây được gọi là mức độ tự do hiệu quả cho hồi quy sườn với tham số . Công cụ ước tính không thiên vị của là

\begin{array}{rcl} E | | Z^{Mới} - \hat{Z} | |^{2} & = = & E | | Z - \hat{Z} | |^{2} + 2 Σ_{Tôi = = 1}^{p} cov (Z_{Tôi}, {\hat{Z}}_{Tôi}) \\ = = & E | | Z - \hat{Z} | |^{2} + 2 σ^{2} \underset{df (λ)}{\underset{⏟}{Σ_{Tôi = = 1}^{p} \frac{d_{Tôi}^{2}}{d_{Tôi}^{2} + λ}}} . \end{array}

$\begin{eqnarray*} E||Z^{\text{New}} - \hat{Z} ||^2 &= & E||Z - \hat{Z}||^2 + 2 \sum_{i=1}^p \text{cov}(Z_i, \hat{Z}_i) \\ & = & E||Z - \hat{Z}||^2 + 2 \sigma^2 \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}}_{\text{df}(\lambda)}. \end{eqnarray*}$

df (λ)

$\text{df}(\lambda)$

λ

$\lambda$

E | | Z - \hat{Z} | |^{2}

$E||Z - \hat{Z}||^2$

lỗi (λ) = = | | Z - \hat{Z} | |^{2} = = Σ_{Tôi = = 1}^{p} {(1 - \frac{d_{Tôi}^{2}}{d_{Tôi}^{2} + λ})}^{2} Z_{Tôi}^{2} .

$\text{err}(\lambda) = ||Z - \hat{Z}||^2 = \sum_{i=1}^p \left(1 - \frac{d_i^2}{d_i^2 + \lambda}\right)^2 Z_i^2.$

Chúng tôi kết hợp điều này với công cụ ước tính (không thiên vị) của cho rằng chúng ta biết , sau đó chúng ta cần giảm thiểu. Rõ ràng, điều này chỉ có thể được thực hiện nếu chúng ta biết hoặc có dự đoán hợp lý tại hoặc ước tính của .

lỗi (λ) + 2 σ^{2} df (λ)

$\text{err}(\lambda) + 2 \sigma^2 \text{df}(\lambda)$

E | | Z^{New} - \hat{Z} | |^{2}

$E||Z^{\text{New}} - \hat{Z} ||^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

Ước tính có thể có nhiều vấn đề hơn. Có thể chỉ ra rằng Do đó, nếu có thể chọn nhỏ đến mức có thể bỏ qua sai lệch bình phương, chúng ta có thể thử ước tính là Nếu ý chí làm việc này phụ thuộc rất nhiều vào . $\sigma^2$

E | | Z - \hat{Z} | |^{2} = = σ^{2} (p - \underset{d (λ)}{\underset{⏟}{Σ_{Tôi = = 1}^{p} \frac{d_{Tôi}^{2}}{d_{Tôi}^{2} + λ} (2 - \frac{d_{Tôi}^{2}}{d_{Tôi}^{2} + λ})}}) + Thiên kiến (λ)^{2} .

$E||Z - \hat{Z}||^2 = \sigma^2\left(p - \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}\left(2 - \frac{d_i^2}{d_i^2 + \lambda}\right)}_{\text{d}(\lambda)}\right) + \text{bias}(\lambda)^2.$

λ

$\lambda$

σ^{2}

$\sigma^2$

{\hat{σ}}^{2} = = \frac{1}{p - d (λ)} | | Z - \hat{Z} | |^{2} .

$\hat{\sigma}^2 = \frac{1}{p-\text{d}(\lambda)} ||Z - \hat{Z}||^2.$

X

$X$

Để biết một số chi tiết, hãy xem Phần 3.4.1 và Chương 7 trong ESL hoặc thậm chí tốt hơn Chương 2 trong GAM .

— NRH
nguồn

Xác định như trong câu hỏi và cho các tham số khác nhau và đặt của nhãn mẫu. Sau đó, có thể tính toán được vì không biết rớt ra khi mở rộng cả hai định mức. $β$ $β(λ,K)=[(X^TX)_{KK}+λI]^{−1}(X^TY)_K$ $\lambda$ $K$ $e(λ,K):=\|Xβ(λ,K)-Y\|^2-\|Xβ-Y\|^2$ $\|Y\|^2$

Điều này dẫn đến thuật toán sau:

Tính đối với một số lựa chọn của tập huấn luyện . $e(λ,K)$ $K$
Vẽ các kết quả như là một hàm của . $\lambda$
Chấp nhận giá trị của trong đó cốt truyện là phẳng nhất. $\lambda$
Sử dụng làm ước tính cuối cùng. $β^*=[X^TX+λI]^{−1}X^TY$

— Arnold Neumaier
nguồn

Tôi đoán "nơi cốt truyện là phẳng nhất" sẽ ở rất nhỏ, giống như khoảng 0 :)

λ

$\lambda$

— jbowman

@jbowman: Điều này sẽ chỉ xảy ra nếu sự cố được điều hòa tốt và không cần chính quy, thì thực sự là đủ. Trong trường hợp không có điều kiện, dự đoán của các vật phẩm bên ngoài sẽ kém vì quá nhiều và sẽ rất lớn.

λ = 0

$\lambda=0$

K

$K$

e (λ, K)

$e(\lambda,K)$

— Arnold Neumaier

@ArnoldNeumaier: không thể tính toán được. Chúng tôi chỉ biết mối tương quan với từng yếu tố dự đoán. nằm trong "miền dự đoán", không thuộc "miền Y" (Nếu N là cỡ mẫu và p số lượng dự đoán, chúng ta chỉ có giá trị p, một giá trị cho mỗi dự đoán).

(X^{T} Y)_{K}

$(X^TY)_K$

(X^{T} Y)

$(X^TY)$

— Jag

@Jag: Sau đó, không có đủ thông tin để chọn . Nhưng phải được thu thập bằng cách nào đó. Nếu trong quá trình thu thập, bạn phân vùng mẫu thành lô và lắp ráp riêng cho từng lô thì người ta có thể dự trữ một lô cho mỗi lô để xác thực chéo.

λ

$\lambda$

X^{T} Y

$X^TY$

k

$k$

X^{T} Y

$X^TY$

— Arnold Neumaier

@ArnoldNeumaier: được cung cấp bên ngoài, không được thu thập.

X^{T} Y

$X^TY$

— Jag