Lỗi hệ thống / đo lường trên hồi quy tuyến tính

8

Giả sử tôi có một bộ dữ liệu trong đó độ không đảm bảo trong các phép đo (xuất phát từ sự lan truyền các lỗi hệ thống từ thiết bị đo) điểm. Nếu tôi thực hiện hồi quy tuyến tính trên tập dữ liệu, làm thế nào để tôi tính toán độ không đảm bảo trong độ dốc? Tôi muốn một thủ tục rõ ràng hoặc công thức. ${(x_i,y_i)}$ ${(\Delta x_i,\Delta y_i)}$

linear-model measurement-error errors-in-variables

— Iván Mauricio Burbano
nguồn

2

Bạn có ý thức về lỗi đo lường nào lớn hơn không?

— Dimitriy V. Masterov

1

Theo deltas, bạn có nghĩa là sự khác biệt giữa các phép đo liên tiếp? Là dữ liệu của bạn tuần tự? Bạn có mong đợi lỗi tương quan? Bạn có mong đợi sự tương quan để phân rã? Bạn có bất kỳ loại bản sao độc lập? Thêm thông tin là cần thiết để cung cấp một câu trả lời cụ thể.

— dùng3903581

Thuật ngữ bạn đang tìm kiếm là tuyên truyền lỗi. Bạn có lỗi ở phía đầu vào và tính toán (cụ thể hơn: ước tính) hai tham số từ nó. Thật không may, tên "hồi quy tuyến tính" chỉ mô tả một mô hình (phổ biến), nhưng không phải là phương pháp mà bạn ước tính các tham số. Đối với các phương pháp được sử dụng nhiều nhất, có lẽ bạn có thể tra cứu giải pháp (ví dụ: bình phương nhỏ nhất). Nếu không, bạn có thể tính toán phân tích hoặc tính gần đúng bằng cách đánh giá số.

— cherub

4

Chúng ta có thể mô hình thử nghiệm dưới dạng trong đó biểu thị các giá trị thực, là các lỗi đo lường, là các thành phần "cố định" của chúng độc lập với quan sát (có thể phát sinh từ việc hiệu chuẩn sai các cảm biến) và thay đổi từ quan sát đến quan sát và tương ứng với nhiều yếu tố có thể mà chúng ta coi là ngẫu nhiên.

x_{i} = x_{i}^{*} + {\tilde{u}}_{i}

$x_i=x_i^*+\tilde u_i$

y_{i} = y_{i}^{*} + {\tilde{v}}_{i}

$y_i=y_i^*+\tilde v_i$

{\tilde{u}}_{i} = \bar{u} + v_{i}

$\tilde u_i=\bar u + v_i$

{\tilde{v}}_{i} = \bar{v} + u_{i}

$\tilde v_i=\bar v + u_i$

x_{i}^{*}, y_{i}^{*}

$x_i^*, y_i^*$

{\tilde{u}}_{i}, {\tilde{v}}_{i}

$\tilde u_i,\tilde v_i$

\bar{u}, \bar{v}

$\bar u,\bar v$

u, v

$u,v$

Hồi quy tuyến tính đơn giản là và ước tính OLS của độ dốc là Tuy nhiên, những gì chúng tôi có được là

y_{Tôi}^{*} = = α + β x_{Tôi}^{*} + e_{Tôi}

$y_i^*=\alpha+\beta x_i^*+e_i$

\hat{β} = = \frac{C o v (x^{*}, y^{*})}{V một r (x^{*})}

$\hat\beta=\frac{Cov(x^*,y^*)}{Var(x^*)}$

\tilde{β} = = \frac{C o v (x, y)}{V một r (x)} = = \frac{C o v (x^{*} + bạn, y^{*} + v)}{V một r (x^{*} + bạn)} = = \frac{C o v (x^{*}, y^{*}) + C o v (x^{*}, v) + C o v (y^{*}, bạn) + C o v (bạn, v)}{V một r (x^{*}) + V một r (bạn) + 2 C o v (x, bạn)}

$\tilde\beta=\frac{Cov(x,y)}{Var(x)}=\frac{Cov(x^* + u,y^*+ v)}{Var(x^* + u)}=\frac{Cov(x^*,y^*)+Cov(x^*,v)+Cov(y^*,u)+Cov(u,v)}{Var(x^*) + Var(u) + 2Cov(x,u)}$

Bây giờ hãy giả sử rằng không tương quan với và nhau (một giả định khá mạnh có thể được cải thiện nếu chúng ta có nhiều suy luận về bản chất của lỗi). Sau đó, ước tính của chúng tôi là Chúng tôi có thể ước tính là biến thể mẫu của . Chúng ta cũng cần ước tính . Nếu chúng ta có một thử nghiệm khi chúng ta có thể quan sát nhiều lần, thì một cách tiếp cận đơn giản là ước tính ]. $v,u$ $x^*,y^*$

\tilde{β} = = β \frac{σ_{x^{*}}^{2}}{σ_{x^{*}}^{2} + σ_{bạn}^{2}} \approx β \frac{{\hat{σ}}_{x}^{2} - {\hat{σ}}_{bạn}^{2}}{{\hat{σ}}_{x}^{2}} = = β \hat{λ}

$\tilde\beta=\beta\frac{\sigma^2_{x^*}}{\sigma^2_{x^*}+\sigma^2_{u}}\approx\beta\frac{\hat\sigma^2_x-\hat\sigma^2_u}{\hat\sigma^2_x}=\beta\hat\lambda$

{\hat{σ}}_{x}^{2}

$\hat\sigma^2_x$

x_{i}

$x_i$

σ_{u}^{2}

$\sigma^2_u$

x_{i}^{*}

$x^*_i$

σ_{u}^{2} = E [σ_{x}^{2} | x_{i}^{*}

$\sigma^2_u=E[\sigma^2_x|x^*_i$

Bây giờ chúng ta có thể sử dụng tính toán với, ví dụ, phương thức bootstrap và sửa nó cho sao cho . $\hat\sigma^2_{\tilde\beta}$ $\hat\beta =\tilde\beta /\hat\lambda$

{\hat{σ}}_{\hat{β}}^{2} = = \frac{{\hat{σ}}_{\tilde{β}}^{2}}{{\hat{λ}}^{2}}

$\hat\sigma^2_{\hat\beta}=\frac{\hat\sigma^2_{\tilde\beta}}{\hat\lambda^2}$

— yshilov
nguồn

3

Tôi nghĩ rằng câu trả lời được đưa ra bởi @yshilov chắc chắn là tuyệt vời bằng cách xem xét lỗi đo lường thành thuật ngữ lỗi và đáng kể, suy ra kết quả

\tilde{β} = = β \frac{σ_{x}^{2}}{σ_{x}^{2} + σ_{bạn}^{2}}

$\tilde \beta = \beta \frac{\sigma_x^2}{\sigma_x^2 + \sigma_u^2}$

Để giải thích, bản beta này có các thuộc tính đặc biệt là công cụ ước tính thiên vị, nhưng thiên về 0. Cụ thể, đối với hồi quy tuyến tính, $E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

Bằng chứng là như sau: trong hồi quy tuyến tính đơn giản, gọi lại Trong trường hợp có lỗi đo lường, chúng tôi có , và , vì vậy chúng tôi có được Giả sử rằng , , và phương sai của giá trị dự đoán thực

{\hat{β}}_{1} = = \frac{Σ_{Tôi = = 1}^{n} (x_{Tôi} - \bar{x}) y_{Tôi}}{Σ_{Tôi = = 1}^{n} (x_{Tôi} - \bar{x})^{2}}

$\hat \beta_1 = \frac{\sum_{i=1}^n(x_i-\bar x)y_i}{\sum_{i=1}^n(x_i-\bar x)^2}$

x_{i}^{O} = x_{i}^{A} = δ_{i}

$x_i^O=x_i^A=\delta_i$

y_{i}^{O} = y_{i}^{A} + ϵ_{i}

$y_i^O=y_i^A+\epsilon_i$

y_{i}^{A} = β_{0} + β_{1} x_{i}^{A}

$y_i^A=\beta_0 +\beta_1 x_i^A$

y_{Tôi}^{Ôi} = = β_{0} + β_{1} (x_{Tôi}^{Ôi} - δ_{Tôi}) + ε_{Tôi} = = β_{0} + β_{1} x_{Tôi}^{Ôi} + (ε_{Tôi} - β_{1} δ_{Tôi})

$y_i^O=\beta_0+\beta_1(x_i^O-\delta_i)+\epsilon_i=\beta_0+\beta_1x_i^O+(\epsilon_i-\beta_1 \delta_i)$

E (ϵ_{i}) = E (δ_{i}) = 0

$E(\epsilon_i)=E(\delta_i)=0$

v a r (ϵ_{i}) = σ_{ϵ}^{2}

$var(\epsilon_i)=\sigma_{\epsilon}^2$

v a r (δ_{i}) = σ_{δ}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (δ_{i} - \bar{δ})^{2}

$var(\delta_i)=\sigma_{\delta}^2 = \frac{1}{n}\sum_{i=1}^n(\delta_i-\bar \delta)^2$

σ_{x}^{2} = \frac{\sum (x_{i}^{A} - \bar{x^{A}})^{2}}{n}

$\sigma_{x}^2=\frac{\sum(x_i^A-\bar {x^A})^2}{n}$ và mối tương quan của dự đoán đúng và lỗi , sau đó

σ_{x δ} = c o v (x^{A}, δ) = \frac{1}{n} \sum_{i = 1}^{n} (x_{i}^{A} - \bar{x_{i}^{A}}) (δ_{i} - \bar{δ})

$\sigma_{x \delta}=cov(x^A,\delta)= \frac{1}{n}\sum_{i=1}^n(x_i^A-\bar {x_i^A})(\delta_i- \bar \delta)$

c o v (x_{Tôi}^{Ôi}, δ) = = E (x_{Tôi}^{Ôi} δ) - E (x_{Tôi}^{Ôi}) \cdot E (δ) = = E (x_{Tôi}^{Ôi} δ) = = E [(x_{Tôi}^{Một} + δ) δ] = = E (x_{Tôi}^{Một} δ) + E (δ^{2})

$cov(x_i^O,\delta)=E(x_i^O\delta)-E(x_i^O)\cdot E(\delta)=E(x_i^O\delta)=E[(x_i^A+\delta)\delta]=E(x_i^A \delta)+E(\delta^2)$

= = [E (x_{Tôi}^{Một} δ) - E (x_{Tôi}^{Một}) \cdot E (δ)] + [v một r (δ) + [E (δ)]^{2}] = = c o v (x_{Tôi}^{Một}, δ) + σ_{δ}^{2} = = σ_{x δ} + σ_{δ}^{2}

$=\big[E(x_i^A \delta)-E(x_i^A)\cdot E(\delta)\big]+\big[var(\delta)+[E(\delta)]^2\big]=cov(x_i^A,\delta)+\sigma_{\delta}^2=\sigma_{x\delta}+\sigma_{\delta}^2$ Sau đó, bởi và thuộc tính song phương trong hiệp phương sai, kỳ vọng của là

\bar{x} = E (x_{i})

$\bar x = E(x_i)$

{\hat{β}}_{1}

$\hat \beta_1$

E ({\hat{β}}_{1}) = = E [\frac{Σ_{Tôi = = 1}^{n} (x_{Tôi}^{Ôi} - {\bar{x}}^{Ôi}) y_{Tôi}^{Ôi}}{Σ_{Tôi = = 1}^{n} (x_{Tôi}^{Ôi} - {\bar{x}}^{Ôi})^{2}}] = = \frac{E (Σ_{Tôi = = 1}^{n} x_{Tôi}^{Ôi} y_{Tôi}^{Ôi}) - E (Σ_{Tôi = = 1}^{n} {\bar{x}}^{Ôi} y_{Tôi}^{Ôi})}{Σ_{Tôi = = 1}^{n} E [(x_{Tôi}^{Ôi} - E (x_{Tôi}^{Ôi}))^{2}]} = = \frac{E (Σ_{Tôi = = 1}^{n} x_{Tôi}^{Ôi} y_{Tôi}^{Ôi}) - E (x_{Tôi}^{Ôi}) \cdot E (Σ_{Tôi = = 1}^{n} y_{Tôi}^{Ôi})}{Σ_{Tôi = = 1}^{n} v một r (x_{Tôi}^{Ôi})}

$E(\hat \beta_1)=E\Big[\frac{\sum_{i=1}^n(x_i^O-\bar x^O)y_i^O}{\sum_{i=1}^n(x_i^O-\bar x^O)^2}\Big]=\frac{E(\sum_{i=1}^nx^O_iy_i^O)-E(\sum_{i=1}^n \bar x^Oy_i^O)}{\sum_{i=1}^n E\big[(x_i^O-E(x_i^O))^2\big]}=\frac{E(\sum_{i=1}^nx_i^Oy_i^O)-E(x_i^O)\cdot E(\sum_{i=1}^n y_i^O)}{\sum_{i=1}^nvar(x_i^O)}$

= = \frac{Σ_{Tôi = = 1}^{n} c o v (y_{Tôi}^{Ôi}, x_{Tôi}^{Ôi})}{Σ_{Tôi = = 1}^{n} v một r (x_{Tôi}^{Ôi})} = = \frac{Σ_{Tôi = = 1}^{n} c o v (β_{0} + β_{1} x_{Tôi}^{Ôi} + ε_{Tôi} - β_{1} δ_{Tôi}, x_{Tôi}^{Ôi})}{Σ_{Tôi = = 1}^{n} v một r (x_{Tôi}^{Ôi})} = = \frac{β_{1} \cdot Σ_{Tôi = = 1}^{n} v một r (x_{Tôi}^{Ôi}) - β_{1} \cdot Σ_{Tôi = = 1}^{n} c o v (x_{Tôi}^{Ôi}, δ_{Tôi})}{Σ_{Tôi = = 1}^{n} v một r (x_{Tôi}^{Ôi})}

$=\frac{\sum_{i=1}^ncov(y_i^O,x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\sum_{i=1}^ncov(\beta_0+\beta_1x_i^O+\epsilon_i-\beta_1\delta_i,~x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\beta_1\cdot \sum_{i=1}^nvar(x_i^O)-\beta_1\cdot \sum_{i=1}^ncov(x_i^O, \delta_i)}{\sum_{i=1}^nvar(x_i^O)}$

= β_{1} \cdot [1 - \frac{\sum_{i = 1}^{n} c o v (x_{i}^{O}, δ_{i}) / n}{\sum_{i = 1}^{n} v a r (x_{i}^{A} + δ_{i}) / n}] = β_{1} \cdot [1 - \frac{σ_{x δ} + σ_{δ}^{2}}{σ_{x}^{2} + 2 c o v (x_{i}^{A}, δ_{i}) + σ_{δ}^{2}}] = β_{1} \cdot [\frac{σ_{x}^{2} + σ_{x δ}}{σ_{x}^{2} + 2 σ_{x δ} + σ_{δ}^{2}}]

$=\beta_1 \cdot \Big[ 1-\frac{{\sum_{i=1}^ncov(x_i^O,\delta_i)}/{n}}{\sum_{i=1}^nvar(x_i^A+\delta_i)/n}\Big]=\beta_1 \cdot\Big[1-\frac{\sigma_{x\delta}+\sigma_{\delta}^2}{\sigma_x^2+2cov(x_i^A,\delta_i)+\sigma_{\delta}^2}\Big] =\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$ , như mong muốn. Do đó, kết quả được thiết lập tốt.

E ({\hat{β}}_{1}) = β_{1} \cdot [\frac{σ_{x}^{2} + σ_{x δ}}{σ_{x}^{2} + 2 σ_{x δ} + σ_{δ}^{2}}]

$E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

— con trai520804
nguồn

1

Tôi có một vấn đề tương tự - được đăng ở đây - và vẫn chưa có câu trả lời nhất định. Những gì tôi đã làm lúc này chỉ đơn giản là thu thập một tập hợp các X rất giống nhau và kiểm tra xem có biến thể lớn nào cho Y trong các dòng đó không. Một cách tiếp cận khác có thể là một mô phỏng: bạn sử dụng một X duy nhất từ tập dữ liệu của mình, nhưng sao chép các dòng theo lỗi hệ thống dự đoán (một cái gì đó như rnorm (..., 0,0.3)). Khoảng tin cậy cho độ dốc có thể là một cái gì đó tương tự như khoảng lỗi hệ thống.

— Paolo Nadalutti
nguồn

0

Tôi muốn giới thiệu một bootstrap tham số trên dữ liệu. Điều đó có nghĩa là tạo ra các bộ dữ liệu mới tương tự như bộ dữ liệu thực, nhưng khác với mức độ không chắc chắn của bạn trong mỗi quan sát.

Đây là một số mã giả cho điều đó. Lưu ý rằng tôi đang sử dụng các đầu vào vectơ để rnorm, như bình thường trong ngôn ngữ R. Ngoài ra, tôi giả sử rằng những gì bạn đang gọi là lỗi tiêu chuẩn. $\Delta$

For each b in 1...B:
    x_PB = rnorm(x, x_se)
    y_PB = rnorm(y, y_se)
    r[b] = cor(x_PB, y_PB)

Sau đó nhìn vào sự phân bố của các giá trị trong r.

— RCorty
nguồn