Các ví dụ trong đó một bootstrap ngây thơ của người thất bại là gì?

Giả sử tôi có một tập hợp dữ liệu mẫu từ một phân phối không xác định hoặc phức tạp và tôi muốn thực hiện một số suy luận về thống kê của dữ liệu. Khuynh hướng mặc định của tôi là chỉ cần tạo ra một loạt các mẫu bootstrap với thay thế, và tính toán số liệu thống kê của tôi trên mỗi mẫu bootstrap để tạo ra một phân phối ước tính cho .$T$$T$$T$

Các ví dụ mà đây là một ý tưởng tồi là gì?

Ví dụ, một trường hợp khi thực hiện bootstrap một cách ngây thơ này sẽ thất bại là nếu tôi đang cố gắng sử dụng bootstrap trên dữ liệu chuỗi thời gian (giả sử, để kiểm tra xem tôi có tự động tương quan đáng kể hay không). Bootstrap ngây thơ được mô tả ở trên (tạo ra datapoint thứ của loạt mẫu bootstrap thứ n bằng cách lấy mẫu thay thế từ loạt gốc của tôi) sẽ (tôi nghĩ) sẽ không được khuyến khích, vì nó bỏ qua cấu trúc trong chuỗi thời gian ban đầu của tôi, và vì vậy chúng tôi có được các kỹ thuật bootstrap fancier như khối bootstrap.$i$

Nói cách khác, bootstrap có gì ngoài "lấy mẫu bằng thay thế"?

Nếu số lượng quan tâm, thường là chức năng của một phân phối, thì khá hợp lý và dữ liệu của bạn là iid, bạn thường ở trong lãnh thổ khá an toàn. Tất nhiên, có những trường hợp khác khi bootstrap cũng hoạt động.

Ý nghĩa của việc bootstrap là "fail"

Nói rộng hơn, mục đích của bootstrap là xây dựng một phân phối lấy mẫu gần đúng cho thống kê quan tâm. Đây không phải là ước tính thực tế của tham số. Vì vậy, nếu thống kê về lợi ích (theo một số thay đổi và định tâm) là và trong phân phối, chúng tôi muốn phân phối bootstrap của chúng tôi hội tụ để phân phối . Nếu chúng ta không có điều này, thì chúng ta không thể tin vào những suy luận được đưa ra.$\newcommand{\Xhat}{\hat{X}_n}\Xhat$$\Xhat \to X_\infty$$X_\infty$

Các kinh điển ví dụ khi bootstrap có thể thất bại, thậm chí trong một khuôn khổ iid được khi cố gắng xấp xỉ phân phối lấy mẫu của một số liệu thống kê để khắc nghiệt. Dưới đây là một cuộc thảo luận ngắn gọn.

Thống kê đơn hàng tối đa của một mẫu ngẫu nhiên từ phân phối$\;\mathcal{U}[0,\theta]$

Đặt là một chuỗi các biến ngẫu nhiên thống nhất iid trên . Đặt . Phân phối của là (Lưu ý rằng bằng một đối số rất đơn giản, điều này thực sự cũng cho thấy xác suất và thậm chí, gần như chắc chắn , nếu tất cả các biến ngẫu nhiên được xác định trên cùng một không gian.)$X_1, X_2, \ldots$$[0,\theta]$$\newcommand{\Xmax}{X_{(n)}} \Xmax = \max_{1\leq k \leq n} X_k$$\Xmax$

Một phép tính cơ bản mang lại hay nói cách khác, hội tụ trong phân phối đến một biến ngẫu nhiên theo cấp số nhân với trung bình .

Bây giờ, chúng tôi tạo một ước tính bootstrap (ngây thơ) về phân phối của bằng cách lấy lại mẫu bằng thay thế để lấy và sử dụng phân phối của điều kiện trên .$n(\theta - \Xmax)$$X_1, \ldots, X_n$$X_1^\star,\ldots,X_n^\star$$n(\Xmax - \Xmax^\star)$$X_1,\ldots,X_n$

Nhưng, hãy quan sát rằng với xác suất , và do đó, phân phối bootstrap có khối lượng điểm bằng 0 ngay cả khi không có triệu chứng thực tế là phân phối giới hạn thực tế là liên tục.$\Xmax^\star = \Xmax$$1 - (1-1/n)^n \to 1 - e^{-1}$

Rõ ràng hơn, mặc dù phân phối giới hạn thực là theo cấp số nhân với trung bình , phân phối bootstrap giới hạn đặt khối lượng điểm ở 0 có kích thước độc lập với giá trị thực của . Bằng cách lấy đủ lớn, chúng ta có thể làm cho xác suất phân phối giới hạn thực sự nhỏ tùy ý cho bất kỳ khoảng cố định nào , nhưng bootstrap sẽ ( vẫn !) Báo cáo rằng có ít nhất xác suất 0,632 trong khoảng này! Từ đó, rõ ràng bootstrap có thể hành xử tùy tiện trong cài đặt này.$\theta$$1−e^{-1} \approx 0.632$ $\theta$$\theta$$[0,\varepsilon)$

Tóm lại, bootstrap thất bại (thảm hại) trong trường hợp này. Mọi thứ có xu hướng sai khi xử lý các tham số ở cạnh của không gian tham số.

Một ví dụ từ một mẫu các biến ngẫu nhiên bình thường

Có những ví dụ tương tự khác về sự thất bại của bootstrap trong những trường hợp đơn giản đáng ngạc nhiên.

Hãy xem xét một mẫu từ trong đó không gian tham số cho bị giới hạn ở . MLE trong trường hợp này là . Một lần nữa, chúng tôi sử dụng ước tính bootstrap . Một lần nữa, có thể thấy rằng phân phối của (có điều kiện trên mẫu được quan sát) không hội tụ đến phân phối giới hạn giống như .$X_1, X_2, \ldots$$\mathcal{N}(\mu,1)$$\mu$$[0,\infty)$$\newcommand{\Xbar}{\bar{X}}\Xhat = \max(\bar{X},0)$$\Xhat^\star = \max(\Xbar^\star, 0)$$\sqrt{n}(\Xhat^\star - \Xhat)$$\sqrt{n}(\Xhat - \mu)$

Mảng trao đổi

Có lẽ một trong những ví dụ ấn tượng nhất là cho một mảng có thể trao đổi. Đặt là một mảng các biến ngẫu nhiên sao cho mỗi cặp ma trận hoán vị và , các mảng và có cùng phân phối chung. Nghĩa là, hoán vị các hàng và cột của giữ cho bất biến phân phối. (Bạn có thể nghĩ về một mô hình hiệu ứng ngẫu nhiên hai chiều với một quan sát trên mỗi ô làm ví dụ, mặc dù mô hình này tổng quát hơn nhiều.)$\newcommand{\bm}[1]{\mathbf{#1}}\bm{Y} = (Y_{ij})$$\bm{P}$$\bm{Q}$$\bm{Y}$$\bm{P} \bm{Y} \bm{Q}$$\bm{Y}$

Giả sử chúng tôi muốn ước tính khoảng tin cậy cho giá trị trung bình (do giả định khả năng trao đổi được mô tả ở trên phương tiện của tất cả các tế bào phải giống nhau).$\mu = \mathbb{E}(Y_{ij}) = \mathbb{E}(Y_{11})$

McCullagh (2000) đã xem xét hai cách tự nhiên khác nhau (tức là ngây thơ) để khởi động một mảng như vậy. Không ai trong số họ nhận được phương sai tiệm cận cho mẫu có nghĩa là chính xác. Ông cũng xem xét một số ví dụ về mảng trao đổi một chiều và hồi quy tuyến tính.

Người giới thiệu

Thật không may, vấn đề này là không cần thiết, vì vậy không ai trong số này đặc biệt dễ đọc.

P. Bickel và D. Freedman, Một số lý thuyết tiệm cận cho bootstrap . Ann. Thống kê , tập 9, không 6 (1981), 1196 Từ1217.

DWK Andrew, Sự không nhất quán của bootstrap khi một tham số nằm trên ranh giới của không gian tham số , Kinh tế lượng , tập. 68, không 2 (2000), 399 Hàng405.

P. McCullagh, Lấy mẫu lại và mảng có thể trao đổi , Bernoulli , vol. 6, không 2 (2000), 285 Điện thoại.

EL Lehmann và JP Romano, Thử nghiệm các giả thuyết thống kê , thứ 3. chủ biên, Springer (2005). [Chương 15: Phương pháp mẫu lớn chung]

Cuốn sách sau đây có một chương (máy chơi game) dành cho "Khi Bootstrapping thất bại cùng với các biện pháp khắc phục lỗi":

MR Chernick, phương pháp Bootstrap: Hướng dẫn cho các học viên và nhà nghiên cứu , tái bản lần 2. Hoboken NJ: Wiley-Interscience, 2008.

Các chủ đề là:

1. Quá nhỏ của cỡ mẫu
2. Phân phối với khoảnh khắc vô hạn
3. Ước tính giá trị cực đoan
4. Khảo sát lấy mẫu
5. Trình tự dữ liệu mà Are M -Dependent
6. Quá trình tự động không ổn định
7. Phụ thuộc tầm xa

Bootstrap ngây thơ phụ thuộc vào kích thước mẫu là lớn, do đó CDF theo kinh nghiệm cho dữ liệu là một xấp xỉ tốt với CDF "thật". Điều này đảm bảo rằng việc lấy mẫu từ CDF theo kinh nghiệm rất giống với lấy mẫu từ CDF "thật". Trường hợp cực đoan là khi bạn chỉ lấy mẫu một điểm dữ liệu - bootstrapping không đạt được gì ở đây. Nó sẽ ngày càng trở nên vô dụng khi nó tiếp cận trường hợp thoái hóa này.

Bootstrapping ngây thơ sẽ không nhất thiết thất bại trong phân tích chuỗi lần (mặc dù nó có thể không hiệu quả) - nếu bạn mô hình chuỗi sử dụng các hàm cơ bản của thời gian liên tục (như đa thức huyền thoại) cho một thành phần xu hướng, và các hàm sin và cos của thời gian liên tục theo chu kỳ các thành phần (cộng với thuật ngữ lỗi tiếng ồn thông thường). Sau đó, bạn chỉ cần đưa vào bất cứ lúc nào bạn tình cờ đã lấy mẫu vào hàm khả năng. Không có thảm họa cho bootstrapping ở đây.

Bất kỳ mô hình tương quan tự động hoặc ARIMA nào cũng có biểu diễn ở định dạng này ở trên - mô hình này chỉ dễ sử dụng hơn và tôi nghĩ để hiểu và giải thích (dễ hiểu các chu kỳ trong các hàm sin và cosine, khó hiểu các hệ số của mô hình ARIMA). Ví dụ, hàm tương quan tự động là biến đổi Fourier ngược của phổ công suất của chuỗi thời gian.