Bootstrap và tích hợp số

Sự hiểu biết của tôi về cách tiếp cận bootstrap dựa trên khuôn khổ của Wasserman (gần như nguyên văn):

Hãy là một thống kê ( X i là mẫu iid rút ra từ phân phối F ). Giả sử chúng ta muốn ước tính V F ( T n ) - phương sai của T n cho F .$T_n = g(X_1, ..., X_n)$$X_i$$F$$V_F(T_n)$$T_n$$F$

Cách tiếp cận bootstrap theo hai bước sau:

1. Ước tính với V F ( T n ) , nơi F là hàm phân phối thực nghiệm.$V_F(T_n)$$V_{\hat{F}}(T_n)$$\hat{F}$

2. Xấp xỉ sử dụng mô phỏng.$V_{\hat{F}}(T_n)$

Tôi có hiểu chính xác rằng mô phỏng ở bước 2 có thể được thay thế bằng một phép tính chính xác không, ngoại trừ việc nó không khả thi đối với các giá trị thực tế hữu ích của ? Dưới đây là suy nghĩ của tôi: V F chính xác bằng một tách rời của T n ( X 1 , . . . , X n ) d F ( X 1 ) d F ( X 2 ) . . . d F ( X n ) .$n$$V_{\hat{F}}$$T_n(X_1, ..., X_n)d\hat{F}(X_1)d\hat{F}(X_2)...d\hat{F}(X_n)$ là một bước chức năng, với một hữu hạn sốnbước; vì vậy chúng tôi có thể bỏ qua tất cả các điểm ngoại trừnđiểm nơid F (x)có khác không tin đại chúng. Vì vậy, tích phân chính xác bằng tổngnn số hạng. Khinvượt quá 14, một phép tính trực tiếp đơn giản là không thể.$\hat{F}$$n$$n$$d\hat{F}(x)$$n^n$$n$

Nhưng tất cả những gì chúng tôi đang cố gắng làm là tính một tích phân. Tại sao không thay thế mô phỏng bootstrap brute-force bằng bất kỳ thuật toán số truyền thống nào để lấy tích phân? Nó sẽ không dẫn đến độ chính xác cao hơn nhiều cho cùng một thời gian tính toán?

Ngay cả một cái gì đó đơn giản như phân chia không gian mẫu trong các phần (có thể với khối lượng nhỏ hơn trong đó thống kê mẫu thay đổi nhanh hơn) và ước tính giá trị của thống kê trong mỗi phần bằng cách sử dụng điểm giữa, dường như tốt hơn bootstrap mù.

Tôi đang thiếu gì?

Có lẽ bootstrap hoạt động tốt và nhanh đến mức không cần phải làm gì phức tạp hơn? (Ví dụ: nếu mất độ chính xác ở bước 1 lớn hơn nhiều so với bước 2, thì các cải tiến cho bước 2 là khá vô ích.)

Các bootstrap hoạt động rất tốt. Nếu bạn muốn để ước tính giá trị trung bình, phương sai và một số quantiles không-quá-cực của sự phân bố của một số thấp chiều θ ( Y ) , một vài trăm đến vài nghìn tái mẫu sẽ làm cho các lỗi không đáng kể Monte Carlo, cho nhiều vấn đề thực tế. Là một hạnh phúc by-sản phẩm, nó cũng mang đến cho bạn một mẫu của θ ( Y * ) , có thể được sử dụng cho các thủ tục chẩn đoán, nếu muốn, và nó không phải là quá khó khăn để có được các biện pháp chấp nhận được-tốt lớn như thế nào các lỗi Monte Carlo thực sự là$\hat\theta(Y)$$\hat\theta(Y^*)$

Phù hợp với một mô hình hồi quy, ví dụ một nghìn lần so với (ngày nay) không phải là vấn đề lớn, cả về thời gian CPU hay nỗ lực mã hóa.

Ngược lại, tích hợp số (không bao gồm các phương thức Monte Carlo) có thể khó mã hóa - bạn phải quyết định cách phân chia không gian mẫu, ví dụ, đây là một nhiệm vụ không tầm thường. Các phương pháp này cũng không đưa ra chẩn đoán và độ chính xác mà chúng ước tính tích phân thực sự rất khó đánh giá.

Để thực hiện hầu hết những gì bootstrap làm, nhưng nhanh hơn, hãy xem Phương pháp tổng quát về các khoảnh khắc - để suy luận dựa trên các mô hình hồi quy (và nhiều thứ khác) bạn có thể nghĩ về nó như một xấp xỉ nhanh chóng, chính xác với những gì bootstrap không tham số sẽ cho.

Mô phỏng thường được sử dụng nhất trong bootstrapping cho tính toán số của phương sai về nguyên tắc có thể được thay thế bằng một tính toán chính xác hoặc một xấp xỉ thay thế của tích phân. Tuy nhiên, người ta nên biết rằng một mô phỏng "brute-force" thay thế cho các kỹ thuật tích hợp số khác thực sự là một ý tưởng tốt. Câu trả lời cho câu hỏi "Liệu nó có mang lại độ chính xác cao hơn cho cùng một thời gian tính toán không?" là không có .

$r$$r^n$

Có nhiều phương pháp khác như tích hợp quasi-Monte Carlo, mà tôi hầu như không biết gì, thực hiện các đánh giá chức năng thông minh dựa trên các số bán ngẫu nhiên thay vì các số giả ngẫu nhiên mà chúng tôi sử dụng để tích hợp Monte Carlo thông thường.