Khoảng dự đoán Bootstrap

Có bất kỳ kỹ thuật bootstrap nào có sẵn để tính các khoảng dự đoán cho các dự đoán điểm thu được, ví dụ từ hồi quy tuyến tính hoặc phương pháp hồi quy khác (hàng xóm gần nhất k, cây hồi quy, v.v.) không?

Bằng cách nào đó tôi cảm thấy rằng cách đôi khi được đề xuất để khởi động dự đoán điểm (xem ví dụ: Khoảng dự đoán cho hồi quy kNN ) không cung cấp khoảng dự đoán mà là khoảng tin cậy.

Một ví dụ trong R

# STEP 1: GENERATE DATA

set.seed(34345)

n <- 100 
x <- runif(n)
y <- 1 + 0.2*x + rnorm(n)
data <- data.frame(x, y)


# STEP 2: COMPUTE CLASSIC 95%-PREDICTION INTERVAL
fit <- lm(y ~ x)
plot(fit) # not shown but looks fine with respect to all relevant aspects

# Classic prediction interval based on standard error of forecast
predict(fit, list(x = 0.1), interval = "p")
# -0.6588168 3.093755

# Classic confidence interval based on standard error of estimation
predict(fit, list(x = 0.1), interval = "c")
# 0.893388 1.54155


# STEP 3: NOW BY BOOTSTRAP
B <- 1000
pred <- numeric(B)
for (i in 1:B) {
  boot <- sample(n, n, replace = TRUE)
  fit.b <- lm(y ~ x, data = data[boot,])
  pred[i] <- predict(fit.b, list(x = 0.1))
}
quantile(pred, c(0.025, 0.975))
# 0.8699302 1.5399179

Rõ ràng, khoảng thời gian bootstrap cơ bản 95% khớp với khoảng tin cậy 95%, không phải là khoảng dự đoán 95%. Vì vậy, câu hỏi của tôi: Làm thế nào để làm điều đó đúng?

bootstrap prediction-interval

— Michael M
nguồn

Ít nhất là trong trường hợp bình phương tối thiểu thông thường, bạn sẽ cần nhiều hơn là chỉ dự đoán điểm; bạn cũng muốn sử dụng sai số dư ước tính để xây dựng các khoảng dự đoán.

— Kodiologist

Liên quan: stats.stackexchange.com/q/44860

@duplo: cảm ơn bạn đã chỉ ra điều này. Độ dài chính xác của các khoảng dự đoán cổ điển phụ thuộc trực tiếp vào giả định quy tắc của thuật ngữ lỗi, vì vậy nếu nó quá lạc quan, thì chắc chắn phiên bản bootstrapping cũng sẽ xuất phát từ đó. Tôi tự hỏi nếu có trong phương pháp bootstrap chung làm việc trong hồi quy (không nhất thiết phải là OLS).

— Michael M

Tôi nghĩ rằng \ textit {suy luận tuân thủ} có thể là những gì bạn muốn, cho phép bạn xây dựng các khoảng dự đoán dựa trên việc lấy mẫu lại có phạm vi bảo hiểm mẫu hữu hạn hợp lệ và không che đậy quá nhiều. Có một bài viết hay có sẵn tại arxiv.org/pdf/1604.04173.pdf , có thể đọc như một giới thiệu về chủ đề và gói R có sẵn từ github.com/ryantibs/conformal .

— Simon Boge Brant

Phương pháp được trình bày dưới đây là phương pháp được mô tả trong Phần 6.3.3 của Davidson và Hinckley (1997), Phương pháp Bootstrap và Ứng dụng của chúng . Cảm ơn Glen_b và bình luận của anh ấy ở đây . Cho rằng có một số câu hỏi về Xác thực chéo về chủ đề này, tôi nghĩ rằng nó đáng để viết lên.

Mô hình hồi quy tuyến tính là:

\begin{aligned} Y_{tôi} & = = X_{tôi} β + ε_{tôi} \end{aligned}

$\begin{align} Y_i &= X_i\beta+\epsilon_i \end{align}$

Chúng tôi có dữ liệu, , chúng tôi sử dụng để ước tính là: $i=1,2,\ldots,N$ $\beta$

\begin{aligned} {\hat{β}}_{TUỔI} & = = {(X^{'} X)}^{- 1} X^{'} Y \end{aligned}

$\begin{align} \hat{\beta}_{\text{OLS}} &= \left( X'X \right)^{-1}X'Y \end{align}$

Bây giờ, chúng tôi muốn dự đoán sẽ là gì cho một điểm dữ liệu mới, với điều kiện là chúng tôi biết cho nó. Đây là vấn đề dự đoán. Chúng ta hãy gọi mới (mà chúng ta biết) và mới (mà chúng ta muốn dự đoán), . Dự đoán thông thường (nếu chúng ta giả sử rằng là iid và không tương thích với ) là: $Y$ $X$ $X$ $X_{N+1}$ $Y$ $Y_{N+1}$ $\epsilon_i$ $X$

\begin{aligned} Y_{N + 1}^{p} & = = X_{N + 1} {\hat{β}}_{TUỔI} \end{aligned}

$\begin{align} Y^p_{N+1} &= X_{N+1}\hat{\beta}_{\text{OLS}} \end{align}$

Lỗi dự báo được thực hiện bởi dự đoán này là:

\begin{aligned} e_{N + 1}^{p} & = = Y_{N + 1} - Y_{N + 1}^{p} \end{aligned}

$\begin{align} e^p_{N+1} &= Y_{N+1}-Y^p_{N+1} \end{align}$

Chúng ta có thể viết lại phương trình này như:

\begin{aligned} Y_{N + 1} & = = Y_{N + 1}^{p} + e_{N + 1}^{p} \end{aligned}

$\begin{align} Y_{N+1} &= Y^p_{N+1} + e^p_{N+1} \end{align}$

Bây giờ, chúng tôi đã tính toán. Vì vậy, nếu chúng ta muốn ràng buộc trong một khoảng thời gian, giả sử, 90% thời gian, tất cả những gì chúng ta cần làm là ước tính nhất quán và phần trăm / lượng tử của , gọi chúng là và khoảng dự đoán sẽ là . $Y^p_{N+1}$ $Y_{N+1}$ $5^{th}$ $95^{th}$ $e^p_{N+1}$ $e^5,e^{95}$ $\left[Y^p_{N+1}+e^5,Y^p_{N+1}+e^{95} \right]$

Làm cách nào để ước tính số lượng / phần trăm của ? Chà, chúng ta có thể viết: $e^p_{N+1}$

\begin{aligned} e_{N + 1}^{p} & = = Y_{N + 1} - Y_{N + 1}^{p} \\ = = X_{N + 1} β + ε_{N + 1} - X_{N + 1} {\hat{β}}_{TUỔI} \\ = = X_{N + 1} (β - {\hat{β}}_{TUỔI}) + ε_{N + 1} \end{aligned}

$\begin{align} e^p_{N+1} &= Y_{N+1}-Y^p_{N+1}\\ &= X_{N+1}\beta + \epsilon_{N+1} - X_{N+1}\hat{\beta}_{\text{OLS}}\\ &= X_{N+1}\left( \beta-\hat{\beta}_{\text{OLS}} \right) + \epsilon_{N+1} \end{align}$

Chiến lược sẽ là lấy mẫu (theo kiểu bootstrap) nhiều lần từ và sau đó tính toán phần trăm theo cách thông thường. Vì vậy, có thể chúng tôi sẽ lấy mẫu 10.000 lần từ , và sau đó ước tính tỷ lệ phần trăm và là thành viên nhỏ nhất và mẫu. $e^p_{N+1}$ $e^p_{N+1}$ $5^{th}$ $95^{th}$ $500^{th}$ $9,500^{th}$

Để vẽ trên , chúng tôi có thể bootstrap lỗi (trường hợp cũng sẽ ổn, nhưng chúng tôi đang giả sử iid dù sao cũng có lỗi). Vì vậy, trên mỗi lần sao chép bootstrap, bạn rút ra lần thay thế từ phần dư được điều chỉnh phương sai (xem đoạn tiếp theo) để nhận , sau đó tạo , sau đó chạy OLS trên tập dữ liệu mới, để có bản sao này . Cuối cùng, bản sao này được vẽ trên là $X_{N+1}\left( \beta-\hat{\beta}_{\text{OLS}} \right)$ $N$ $\epsilon^*_i$ $Y^*_i=X_i\hat{\beta}_{\text{OLS}}+\epsilon^*_i$ $\left(Y^*,X \right)$ $\beta^*_r$ $X_{N+1}\left( \beta-\hat{\beta}_{\text{OLS}} \right)$ $X_{N+1}\left( \hat{\beta}_{\text{OLS}}-\beta^*_r \right)$

Vì chúng ta đang giả sử iid , cách tự nhiên để lấy mẫu từ phần của phương trình là sử dụng phần dư chúng ta có từ hồi quy, . Phần dư có các phương sai khác nhau và thường quá nhỏ, vì vậy chúng tôi sẽ muốn lấy mẫu từ , phần dư được hiệu chỉnh phương sai, trong đó và là đòn bẩy quan sát . $\epsilon$ $\epsilon_{N+1}$ $\left\{ e^*_1,e^*_2,\ldots,e^*_N \right\}$ $\left\{ s_1-\overline{s},s_2-\overline{s},\ldots,s_N-\overline{s} \right\}$ $s_i=e^*_i/\sqrt{(1-h_i)}$ $h_i$ $i$

Và cuối cùng, thuật toán tạo khoảng dự đoán 90% cho , với điều kiện là là: $Y_{N+1}$ $X$ $X_{N+1}$

Đưa ra dự đoán . $Y^p_{N+1}=X_{N+1}\hat{\beta}_{\text{OLS}}$
Tạo các phần dư được điều chỉnh phương sai, , trong đó . $\left\{ s_1-\overline{s},s_2-\overline{s},\ldots,s_N-\overline{s}\right\}$ $s_i=e_i/\sqrt(1-h_{i})$
Đối với các bản sao :
- Vẽ lần trên các phần dư được điều chỉnh để tạo phần dư bootstrap $N$ $\left\{\epsilon^*_1,\epsilon^*_2,\ldots,\epsilon^*_N \right\}$
- Tạo bootstrap $Y^*=X\hat{\beta}_{\text{OLS}}+\epsilon^*$
- Tính toán công cụ ước tính OLS bootstrap cho bản sao này, $\beta^*_r=\left( X'X \right)^{-1}X'Y^*$
- Có được phần dư bootstrap từ bản sao này, $e^*_r=Y^*-X\beta^*_r$
- Tính toán phần dư được điều chỉnh phương sai bootstrap từ bản sao này, $s^*-\overline{s^*}$
- Vẽ một trong các phần dư được điều chỉnh phương sai bootstrap từ bản sao này, $\epsilon^*_{N+1,r}$
- Tính toán bản sao của bản sao này trên , $e^p_{N+1}$ $e^{p*}_r=X_{N+1}\left( \hat{\beta}_{\text{OLS}}-\beta^*_r \right)+\epsilon^*_{N+1,r}$
Tìm và phần trăm của , $5^{th}$ $95^{th}$ $e^p_{N+1}$ $e^5,e^{95}$
Khoảng dự đoán 90% cho là . $Y_{N+1}$ $\left[Y^p_{N+1}+e^5,Y^p_{N+1}+e^{95} \right]$

Đây là Rmã:

# This script gives an example of the procedure to construct a prediction interval
# for a linear regression model using a bootstrap method.  The method is the one
# described in Section 6.3.3 of Davidson and Hinckley (1997),
# _Bootstrap Methods and Their Application_.


#rm(list=ls())
set.seed(12344321)
library(MASS)
library(Hmisc)

# Generate bivariate regression data
x <- runif(n=100,min=0,max=100)
y <- 1 + x + (rexp(n=100,rate=0.25)-4)

my.reg <- lm(y~x)
summary(my.reg)

# Predict y for x=78:
y.p <- coef(my.reg)["(Intercept)"] + coef(my.reg)["x"]*78
y.p

# Create adjusted residuals
leverage <- influence(my.reg)$hat
my.s.resid <- residuals(my.reg)/sqrt(1-leverage)
my.s.resid <- my.s.resid - mean(my.s.resid)


reg <- my.reg
s <- my.s.resid

the.replication <- function(reg,s,x_Np1=0){
  # Make bootstrap residuals
  ep.star <- sample(s,size=length(reg$residuals),replace=TRUE)

  # Make bootstrap Y
  y.star <- fitted(reg)+ep.star

  # Do bootstrap regression
  x <- model.frame(reg)[,2]
  bs.reg <- lm(y.star~x)

  # Create bootstrapped adjusted residuals
  bs.lev <- influence(bs.reg)$hat
  bs.s   <- residuals(bs.reg)/sqrt(1-bs.lev)
  bs.s   <- bs.s - mean(bs.s)

  # Calculate draw on prediction error
  xb.xb <- coef(my.reg)["(Intercept)"] - coef(bs.reg)["(Intercept)"] 
  xb.xb <- xb.xb + (coef(my.reg)["x"] - coef(bs.reg)["x"])*x_Np1
  return(unname(xb.xb + sample(bs.s,size=1)))
}

# Do bootstrap with 10,000 replications
ep.draws <- replicate(n=10000,the.replication(reg=my.reg,s=my.s.resid,x_Np1=78))

# Create prediction interval
y.p+quantile(ep.draws,probs=c(0.05,0.95))

# prediction interval using normal assumption
predict(my.reg,newdata=data.frame(x=78),interval="prediction",level=0.90)


# Quick and dirty Monte Carlo to see which prediction interval is better
# That is, what are the 5th and 95th percentiles of Y_{N+1}
# 
# To do it properly, I guess we would want to do the whole procedure above
# 10,000 times and then see what percentage of the time each prediction 
# interval covered Y_{N+1}

y.np1 <- 1 + 78 + (rexp(n=10000,rate=0.25)-4)
quantile(y.np1,probs=c(0.05,0.95))

— Hóa đơn
nguồn

Cảm ơn bạn đã giải thích hữu ích, chi tiết. Theo những dòng này, tôi nghĩ rằng một kỹ thuật chung bên ngoài OLS (kỹ thuật dựa trên cây, hàng xóm gần nhất, v.v.) sẽ không dễ dàng có sẵn, phải không?

— Michael M

Có cái này cho các khu rừng ngẫu nhiên: stats.stackexchange.com/questions/49750/ Khăn mà âm thanh tương tự.

— Hóa đơn

Theo như tôi có thể nói, nếu bạn trừu tượng thành , kỹ thuật này hoạt động cho bất kỳ mô hình nào.

X β

$X\beta$

f (X, θ)

$f(X, \theta)$

— Shadowtalker

Làm thế nào để bạn khái quát "phần dư được điều chỉnh phương sai" - phương pháp OLS dựa vào đòn bẩy - có tính toán đòn bẩy cho một công cụ ước tính f (X) tùy ý không?

— David Waterworth