Chức năng ảnh hưởng và OLS

15

Tôi đang cố gắng để hiểu làm thế nào các chức năng ảnh hưởng làm việc. Ai đó có thể giải thích trong bối cảnh hồi quy OLS đơn giản

y_{i} = α + β \cdot x_{i} + ε_{i}

$\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation}$

nơi tôi muốn chức năng ảnh hưởng cho . $\beta$

regression least-squares

— stevejb
nguồn

2

Vẫn chưa có câu hỏi cụ thể nào ở đây: bạn có muốn xem hàm ảnh hưởng được tính như thế nào không? Bạn có muốn một ví dụ thực nghiệm cụ thể? Một lời giải thích heuristic về ý nghĩa của nó?

— whuber

1

Nếu bạn tra cứu "chức năng ảnh hưởng trong các thành phần chính" của Frank Critchley năm 1986 (không thể nhớ tên chính xác của bài báo). Ông định nghĩa hàm ảnh hưởng cho hồi quy thông thường ở đây (có thể hoặc không thể chứng minh câu trả lời của tôi sai).

— xác suất

15

Các chức năng ảnh hưởng về cơ bản là một công cụ phân tích có thể được sử dụng để đánh giá hiệu quả (hoặc "ảnh hưởng") của việc loại bỏ một quan sát về giá trị của một thống kê mà không phải tính lại thống kê đó . Chúng cũng có thể được sử dụng để tạo ước tính phương sai tiệm cận. Nếu ảnh hưởng bằng thì phương sai tiệm cận là $I$ . $\frac{I^2}{n}$

Cách tôi hiểu các chức năng ảnh hưởng là như sau. Bạn có một số loại CDF lý thuyết, ký hiệu là . Đối với OLS đơn giản, bạn có $F_{i}(y)=Pr(Y_{i}<y_{i})$

ở đâulà CDF bình thường tiêu chuẩn, vàlà phương sai lỗi. Bây giờ bạn có thể chỉ ra rằng bất kỳ số liệu thống kê nào cũng sẽ là một chức năng của CDF này, do đó ký hiệu(tức là một số chức năng của). Bây giờ giả sử chúng ta thay đổi chức năngbởi một "chút", để

P r (Y_{i} < y_{i}) = P r (α + β x_{i} + ϵ_{i} < y_{i}) = Φ (\frac{y_{i} - (α + β x_{i})}{σ})

$Pr(Y_{i}<y_{i})=Pr(\alpha+\beta x_{i} + \epsilon_{i} < y_{i})=\Phi\left(\frac{y_{i}-(\alpha+\beta x_{i})}{\sigma}\right)$

Φ (z)

$\Phi(z)$

σ^{2}

$\sigma^2$

S (F)

$S(F)$

F

$F$

F

$F$

ở đâu

, và

F_{(i)} (z) = (1 + ζ) F (z) - ζ δ_{(i)} (z)

$F_{(i)}(z)=(1+\zeta)F(z)-\zeta \delta_{(i)}(z)$

δ_{i} (z) = I (y_{i} < z)

$\delta_{i}(z)=I(y_{i}<z)$

. Do đó,

đại diện cho CDF của dữ liệu với điểm dữ liệu "ith" bị xóa. Chúng ta có thể làm một loạt taylor của

về

. Điều này mang lại:

ζ = \frac{1}{n - 1}

$\zeta=\frac{1}{n-1}$

F_{(i)}

$F_{(i)}$

F_{(i)} (z)

$F_{(i)}(z)$

ζ = 0

$\zeta=0$

S [F_{(i)} (z, ζ)] \approx S [F_{(i)} (z, 0)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F_{(i)}(z,0)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

Lưu ý rằng vì vậy chúng tôi nhận được: $F_{(i)}(z,0)=F(z)$

S [F_{(i)} (z, ζ)] \approx S [F (z)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F(z)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

Đạo hàm riêng ở đây được gọi là hàm ảnh hưởng. Vì vậy, điều này thể hiện sự điều chỉnh gần đúng "thứ tự đầu tiên" được thực hiện theo thống kê do xóa quan sát "thứ i". Lưu ý rằng trong hồi quy, phần còn lại không chuyển sang trạng thái không đối xứng, do đó đây là giá trị gần đúng với những thay đổi bạn thực sự có thể nhận được. Bây giờ viết như: $\beta$

β = \frac{\frac{1}{n} \sum_{j = 1}^{n} (y_{j} - \bar{y}) (x_{j} - \bar{x})}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}}

$\beta=\frac{\frac{1}{n}\sum_{j=1}^{n}(y_{j}-\overline{y})(x_{j}-\overline{x})}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}$

Do đó, beta là một hàm của hai thống kê: phương sai của X và hiệp phương sai giữa X và Y. Hai thống kê này có các đại diện theo CDF là:

và trong đó

c o v (X, Y) = \int (X - μ_{x} (F)) (Y - μ_{y} (F)) d F

$cov(X,Y)=\int(X-\mu_x(F))(Y-\mu_y(F))dF$

v a r (X) = \int (X - μ_{x} (F))^{2} d F

$var(X)=\int(X-\mu_x(F))^{2}dF$

μ_{x} = \int x d F

$\mu_x=\int xdF$

$F\rightarrow F_{(i)}=(1+\zeta)F-\zeta \delta_{(i)}$

μ_{x (i)} = \int x d [(1 + ζ) F - ζ δ_{(i)}] = μ_{x} - ζ (x_{i} - μ_{x})

$\mu_{x(i)}=\int xd[(1+\zeta)F-\zeta \delta_{(i)}]=\mu_x-\zeta(x_{i}-\mu_x)$

V a r (X)_{(i)} = \int (X - μ_{x (i)})^{2} d F_{(i)} = \int (X - μ_{x} + ζ (x_{i} - μ_{x}))^{2} d [(1 + ζ) F - ζ δ_{(i)}]

$Var(X)_{(i)}=\int(X-\mu_{x(i)})^{2}dF_{(i)}=\int(X-\mu_x+\zeta(x_{i}-\mu_x))^{2}d[(1+\zeta)F-\zeta \delta_{(i)}]$

$\zeta^{2}$

V a r (X)_{(i)} \approx V a r (X) - ζ [(x_{i} - μ_{x})^{2} - V a r (X)]

$Var(X)_{(i)}\approx Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]$

C o v (X, Y)_{(i)} \approx C o v (X, Y) - ζ [(x_{i} - μ_{x}) (y_{i} - μ_{y}) - C o v (X, Y)]

$Cov(X,Y)_{(i)}\approx Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]$

$\beta_{(i)}$ $\zeta$

β_{(i)} (ζ) \approx \frac{C o v (X, Y) - ζ [(x_{i} - μ_{x}) (y_{i} - μ_{y}) - C o v (X, Y)]}{V a r (X) - ζ [(x_{i} - μ_{x})^{2} - V a r (X)]}

$\beta_{(i)}(\zeta)\approx \frac{Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]}{Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]}$

Bây giờ chúng ta có thể sử dụng loạt Taylor:

β_{(i)} (ζ) \approx β_{(i)} (0) + ζ {[\frac{\partial β_{(i)} (ζ)}{\partial ζ}]}_{ζ = 0}

$\beta_{(i)}(\zeta)\approx \beta_{(i)}(0)+\zeta\left[\frac{\partial \beta_{(i)}(\zeta)}{\partial \zeta}\right]_{\zeta=0}$

Đơn giản hóa điều này mang lại:

β_{(i)} (ζ) \approx β - ζ [\frac{(x_{i} - μ_{x}) (y_{i} - μ_{y})}{V a r (X)} - β \frac{(x_{i} - μ_{x})^{2}}{V a r (X)}]

$\beta_{(i)}(\zeta)\approx \beta-\zeta\left[\frac{(x_{i}-\mu_x)(y_{i}-\mu_y)}{Var(X)}-\beta\frac{(x_{i}-\mu_x)^2}{Var(X)}\right]$

$\mu_y$ $\mu_x$ $var(X)$ $\zeta=\frac{1}{n-1}$

β_{(i)} \approx β - \frac{x_{i} - \bar{x}}{n - 1} [\frac{y_{i} - \bar{y}}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}} - β \frac{x_{i} - \bar{x}}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}}]

$\beta_{(i)}\approx \beta-\frac{x_{i}-\overline{x}}{n-1}\left[\frac{y_{i}-\overline{y}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}-\beta\frac{x_{i}-\overline{x}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}\right]$

$\tilde{x}=\frac{x-\overline{x}}{s_{x}}$

β_{(i)} \approx β - \frac{\tilde{x_{i}}}{n - 1} [\tilde{y_{i}} \frac{s_{y}}{s_{x}} - \tilde{x_{i}} β]

$\beta_{(i)}\approx \beta-\frac{\tilde{x_{i}}}{n-1}\left[\tilde{y_{i}}\frac{s_y}{s_x}-\tilde{x_{i}}\beta\right]$

— xác suất
nguồn

Vậy câu chuyện là về ảnh hưởng của điểm dữ liệu bổ sung? Tôi đã quen với đáp ứng xung cho dữ liệu chuỗi thời gian, trong bối cảnh thống kê, mọi ảnh hưởng sẽ được mô tả bằng hiệu ứng cận biên hoặc (lựa chọn tốt hơn) hệ số beta từ hồi quy chuẩn. Vâng, tôi thực sự cần nhiều bối cảnh hơn để đánh giá câu hỏi và câu trả lời, nhưng cái này thì hay, tôi nghĩ vậy (+1 chưa nhưng đang chờ).

— Dmitrij Celov

@dmitrij - Đó là những gì được ngụ ý (hoặc những gì tôi đã suy luận) từ liên kết - đó là về các đặc tính mạnh mẽ của một thống kê. Các hàm ảnh hưởng có tổng quát hơn một chút so với 1 điểm dữ liệu - bạn có thể xác định lại hàm delta là tổng của chúng (rất nhiều quan sát). Tôi sẽ nghĩ về nó như một "Jacknife giá rẻ" ở một mức độ nào đó - bởi vì bạn không yêu cầu lắp lại mô hình.

— xác suất

10

Đây là một cách siêu chung để nói về các hàm ảnh hưởng của hồi quy. Trước tiên tôi sẽ giải quyết một cách trình bày các chức năng ảnh hưởng:

$F$ $\Sigma$ $F_\epsilon(x)$

F_{ϵ} (x) = (1 - ϵ) F + ϵ δ_{x}

$F_\epsilon(x)=(1-\epsilon)F+\epsilon\delta_x$

δ_{x}

$\delta_x$

Σ

$\Sigma$

{x}

$\{x\}$

Σ

$\Sigma$

Từ đó, chúng ta có thể định nghĩa hàm ảnh hưởng khá dễ dàng:

$\hat{\theta}$ $F$ $\psi_i:\mathcal{X}\to\Gamma$

ψ_{\hat{θ}, F} (x) = lim_{ϵ \to 0} \frac{\hat{θ} (F_{ϵ} (x)) - \hat{θ} (F)}{ϵ}

$\begin{equation} \psi_{\hat{\theta},F}(x)=\lim\limits_{\epsilon\to 0}\dfrac{\hat{\theta}(F_\epsilon(x))-\hat{\theta}(F)}{\epsilon} \end{equation}$

Từ đây, có thể thấy rằng một hàm ảnh hưởng là đạo hàm Gateaux của tại theo hướng . Điều này làm cho việc giải thích các hàm ảnh hưởng (đối với tôi) rõ ràng hơn một chút: Hàm ảnh hưởng cho bạn biết hiệu ứng của một quan sát cụ thể đối với công cụ ước tính. $\hat\theta$ $F$ $\delta_x$

Ước tính OLS là một giải pháp cho vấn đề:

\hat{θ} = \arg min_{θ} E [(Y - X θ)^{T} (Y - X θ)]

$\hat\theta=\arg\min_\theta E[(Y-X\theta)^T(Y-X\theta)]$

Hãy tưởng tượng một phân phối bị ô nhiễm khiến trọng lượng quan sát cao hơn một chút : $(x,y)$

{\hat{θ}}_{ϵ} = \arg min_{θ} (1 - ϵ) E [(Y - X θ)^{T} (Y - X θ)] + ϵ (y - x θ)^{T} (y - x θ)

$\hat\theta_\epsilon = \arg\min_\theta (1-\epsilon)E[(Y-X\theta)^T(Y-X\theta)]+\epsilon (y-x\theta)^T(y-x\theta)$

Lấy điều kiện đặt hàng đầu tiên:

{(1 - ϵ) E [X^{T} X] + ϵ x^{T} x} {\hat{θ}}_{ϵ} = (1 - ϵ) E [X^{T} Y] + ϵ x^{T} y

$\left\{(1-\epsilon)E[X^TX]+\epsilon x^Tx\right\}\hat\theta_\epsilon = (1-\epsilon)E[X^TY]+\epsilon x^Ty$

Vì hàm ảnh hưởng chỉ là một dẫn xuất Gateaux, bây giờ chúng ta có thể nói:

- (E [X^{T} X] + x^{T} x) {\hat{θ}}_{ϵ} + E [X^{T} X] ψ_{θ} (x, y) = - E [X^{T} Y] + x^{T} y

$-(E[X^TX]+x^Tx)\hat\theta_\epsilon + E[X^TX]\psi_{\theta}(x,y) = -E[X^TY] + x^Ty$

Tại , , vì vậy: $\epsilon=0$ $\hat\theta_\epsilon=\hat\theta=E[X^TX]^{-1}E[X^TY]$

ψ_{θ} (x, y) = E [X^{T} X]^{- 1} x^{T} (y - x θ)

$\psi_{\theta}(x,y)=E[X^TX]^{-1}x^T(y-x\theta)$

Bản sao mẫu hữu hạn của hàm ảnh hưởng này là:

ψ_{θ} (x, y) = {(\frac{1}{N} \sum_{i} X_{i}^{T} X_{i})}^{- 1} x^{T} (y - x θ)

$\psi_{\theta}(x,y)=\left(\dfrac{1}{N}\sum_i X_i^TX_i\right)^{-1}x^T(y-x\theta)$

Nói chung, tôi thấy khung này (làm việc với các hàm ảnh hưởng như các dẫn xuất Gateaux) dễ xử lý hơn.

— jayk
nguồn