Bootstrap có thể được xem như là một phương pháp chữa bệnh của Mt cho kích thước mẫu nhỏ không?

Câu hỏi này đã được kích hoạt bởi một cái gì đó tôi đọc trong sách giáo khoa thống kê cấp độ sau đại học và cũng (độc lập) nghe trong bài trình bày này tại một hội thảo thống kê. Trong cả hai trường hợp, câu lệnh đều nằm dọc theo dòng "vì kích thước mẫu khá nhỏ, chúng tôi quyết định thực hiện ước tính thông qua bootstrap thay vì (hoặc cùng với) phương thức tham số ".$X$

Họ không đi vào chi tiết, nhưng có lẽ lý do là như sau: Phương pháp giả định các dữ liệu theo một số tham số phân phối D . Trong thực tế, phân phối không chính xác là D , nhưng nó vẫn ổn miễn là cỡ mẫu đủ lớn. Vì trong trường hợp này, cỡ mẫu quá nhỏ, hãy chuyển sang bootstrap (không tham số) mà không đưa ra bất kỳ giả định phân phối nào. Vấn đề được giải quyết!$X$$D$$D$

Theo tôi, đó không phải là những gì bootstrap dành cho. Đây là cách tôi nhìn thấy: bootstrap có thể mang lại lợi thế khi ít nhiều rõ ràng rằng có đủ dữ liệu, nhưng không có giải pháp dạng đóng để nhận lỗi tiêu chuẩn, giá trị p và thống kê tương tự. Một ví dụ kinh điển là lấy CI cho hệ số tương quan được lấy một mẫu từ phân phối chuẩn bivariate: giải pháp dạng đóng tồn tại, nhưng nó rất phức tạp khi bootstrapping đơn giản hơn. Tuy nhiên, không có gì ngụ ý rằng bootstrap bằng cách nào đó có thể giúp một người thoát khỏi với một cỡ mẫu nhỏ.

Nhận thức của tôi có đúng không?

Nếu bạn thấy câu hỏi này thú vị, có một câu hỏi bootstrap cụ thể hơn, cụ thể hơn từ tôi:

Bootstrap: vấn đề quá mức

Tái bút: Tôi không thể giúp chia sẻ một ví dụ điển hình về cách tiếp cận bootstrap của LỚN. Tôi không tiết lộ tên của tác giả, nhưng anh ta là một trong những thế hệ cũ Quants phạm, người đã viết một cuốn sách về Tài chính định lượng năm 2004. Ví dụ được lấy từ đó.

Hãy xem xét vấn đề sau: giả sử bạn có 4 tài sản và 120 quan sát lợi nhuận hàng tháng cho mỗi tài sản. Mục tiêu là để xây dựng cdf 4 chiều chung của lợi nhuận hàng năm. Ngay cả đối với một tài sản duy nhất, nhiệm vụ dường như khó đạt được chỉ với 10 lần quan sát hàng năm, chứ chưa nói đến việc ước tính cdf 4 chiều. Nhưng đừng lo lắng, bộ khởi động trên máy tính xách tay sẽ giúp bạn giải quyết: lấy tất cả các quan sát 4 chiều có sẵn, lấy mẫu lại 12 với thay thế và kết hợp chúng để tạo ra một vectơ 4 chiều của Boot bootstraged một lần. Lặp lại 1000 lần đó và, lo và kìa, bạn đã có cho mình một mẫu bootstrap của Google với 1000 lợi nhuận hàng năm. Sử dụng mẫu này làm mẫu iid có kích thước 1000 cho mục đích ước tính cdf hoặc bất kỳ suy luận nào khác có thể được rút ra từ một lịch sử hàng nghìn.

$n$$n-1$$n$$n$

simfun <- function(n=5) {
    x <- rnorm(n)
    m.x <- mean(x)
    s.x <- sd(x)
    z <- m.x/(1/sqrt(n))
    t <- m.x/(s.x/sqrt(n))
    b <- replicate(10000, mean(sample(x, replace=TRUE)))
    c( t=abs(t) > qt(0.975,n-1), z=abs(z) > qnorm(0.975),
        z2 = abs(t) > qnorm(0.975), 
        b= (0 < quantile(b, 0.025)) | (0 > quantile(b, 0.975))
     )
}

out <- replicate(10000, simfun())
rowMeans(out)

Kết quả của tôi cho một lần chạy là:

     t      z     z2 b.2.5% 
0.0486 0.0493 0.1199 0.1631 

$\alpha$

Nếu bạn được cung cấp kích thước mẫu nhỏ (dưới dạng trung bình, "nhỏ" dường như phụ thuộc vào một số quy tắc thông thường cơ bản trong từng lĩnh vực nghiên cứu), sẽ không có bootstrap nào làm được điều kỳ diệu. Giả sử một cơ sở dữ liệu chứa ba quan sát cho mỗi trong hai biến đang được điều tra, không có suy luận sẽ có ý nghĩa. Theo kinh nghiệm của tôi, bootstrap không tham số (1.000 hoặc 10.000 lần lặp lại) hoạt động tốt trong việc thay thế kiểm tra t khi phân phối mẫu (ít nhất 10-15 quan sát mỗi lần) bị sai lệch và do đó các điều kiện tiên quyết cho kiểm tra t thông thường không được thỏa mãn. Ngoài ra, bất kể số lượng quan sát, bootstrap không tham số có thể là lựa chọn bắt buộc khi dữ liệu bị sai lệch tích cực, vì nó luôn xảy ra đối với chi phí chăm sóc sức khỏe.

Các câu trả lời khác chỉ trích hiệu suất của khoảng tin cậy bootstrap , chứ không phải bootstrap. Đây là một vấn đề khác nhau.

Nếu ngữ cảnh của bạn thỏa mãn các điều kiện đều đặn cho sự hội tụ của phân phối bootstrap (hội tụ về số lượng mẫu bootstrap), thì phương thức sẽ hoạt động nếu bạn sử dụng một mẫu bootstrap đủ lớn.

Trong trường hợp bạn thực sự muốn tìm các vấn đề về việc sử dụng bootstrap không theo tỷ lệ, đây là hai vấn đề:

(1) Các vấn đề với việc lấy mẫu lại.

Một trong những vấn đề với bootstrap, cho các mẫu nhỏ hoặc lớn, là bước lấy mẫu lại. Không phải lúc nào cũng có thể lấy mẫu lại trong khi vẫn giữ cấu trúc (sự phụ thuộc, thời gian, ...) của mẫu. Một ví dụ về điều này là một quá trình chồng chất .

Giả sử rằng có một số nguồn độc lập tại mỗi sự kiện xảy ra theo thời gian. Khoảng thời gian giữa các sự kiện liên tiếp tại bất kỳ một nguồn nào được giả sử là các biến ngẫu nhiên độc lập tất cả có cùng phân phối, sao cho mỗi nguồn tạo thành một quy trình gia hạn của một loại quen thuộc. Đầu ra của các nguồn được kết hợp thành một đầu ra gộp.

Làm thế nào bạn sẽ lấy mẫu lại trong khi giữ cấu trúc phụ thuộc không xác định ?

(2) Các mẫu bootstrap hẹp và khoảng tin cậy của bootstrap cho các mẫu nhỏ .

Trong các mẫu nhỏ, tối thiểu và tối đa của các công cụ ước tính cho mỗi mẫu phụ có thể xác định một khoảng hẹp, khi đó điểm cuối bên phải và bên trái của bất kỳ khoảng tin cậy nào sẽ rất hẹp (trái với mẫu nhỏ!) Trong một số mô hình.

$x_1,x_2\sim \text{Exp}(\lambda)$$\lambda>0$

set.seed(1)
x <- rexp(2,1)
# Maximum likelihood estimator
1/mean(x)

# Profile likelihood: provides a confidence interval with right-end point beyond the maximum inverse of the mean
Rp <- Vectorize(function(l) exp(sum(dexp(x,rate=l,log=T))-sum(dexp(x,rate=1/mean(x),log=T))))

curve(Rp,0,5)
lines(c(0,5),c(0.147,0.147),col="red")

$\lambda$$\hat{\lambda}=2/(x_1+x_2)$

library(boot)
set.seed(1)
x <- rexp(2,1)
1/mean(x)
# Bootstrap interval: limited to the maximum inverse of the mean
f.boot <- function(data,ind) 1/mean(data[ind])
b.b <- boot(data=x, statistic=f.boot, R=100000)
boot.ci(b.b, conf = 0.95, type = "all")
hist(b.b$t)

$x_1$$x_2$

Bootstrap hoạt động tốt ở các cỡ mẫu nhỏ bằng cách đảm bảo tính chính xác của các thử nghiệm (ví dụ: mức ý nghĩa 0,05 danh nghĩa gần với kích thước thực tế của thử nghiệm), tuy nhiên bootstrap không cung cấp cho bạn thêm sức mạnh. Nếu bạn có một mẫu nhỏ, bạn có ít sức mạnh, kết thúc câu chuyện.

Các hồi quy tham số (mô hình tuyến tính) và bán đảo (GEE) có xu hướng có các tính chất mẫu nhỏ kém ... trước đây là kết quả của sự phụ thuộc lớn vào các giả định tham số, sau này do phóng đại các ước lượng lỗi tiêu chuẩn mạnh trong các mẫu nhỏ. Bootstrapping (và các thử nghiệm dựa trên việc lấy mẫu lại khác) thực hiện rất tốt trong những trường hợp đó.

Để dự đoán, bootstrapping sẽ cung cấp cho bạn các ước tính tốt hơn (trung thực hơn) về hiệu lực nội bộ so với xác nhận mẫu phân tách.

$n$