Bootstrapping gần đúng với phân phối lấy mẫu của công cụ ước tính như thế nào?

Gần đây đã nghiên cứu bootstrap, tôi đã đưa ra một câu hỏi về khái niệm vẫn còn đánh đố tôi:

Bạn có một dân số và bạn muốn biết một thuộc tính dân số, tức là , nơi tôi sử dụng để đại diện cho dân số. Đây có thể là trung bình dân số ví dụ. Thông thường bạn không thể lấy tất cả dữ liệu từ dân số. Vì vậy, bạn vẽ một mẫu có kích thước từ dân số. Giả sử bạn có mẫu iid cho đơn giản. Sau đó, bạn có được công cụ ước tính của mình . Bạn muốn sử dụng để suy luận về , vì vậy bạn muốn biết tính biến đổi của . $\theta=g(P)$ $P$ $\theta$ $X$ $N$ $\hat{\theta}=g(X)$ $\hat{\theta}$ $\theta$ $\hat{\theta}$

Đầu tiên, có một phân phối lấy mẫu thực sự của $\hat{\theta}$ . Về mặt khái niệm, bạn có thể vẽ nhiều mẫu (mỗi mẫu có kích thước $N$ ) từ dân số. Mỗi lần bạn sẽ nhận ra $\hat{\theta}=g(X)$ vì mỗi lần bạn sẽ có một mẫu khác nhau. Cuối cùng, bạn sẽ có thể khôi phục phân phối thực sự của $\hat{\theta}$ . Ok, đây ít nhất là điểm chuẩn khái niệm để ước tính phân phối của $\hat{\theta}$ . Hãy để tôi nói lại: mục tiêu cuối cùng là sử dụng nhiều phương pháp khác nhau để ước tính hoặc xấp xỉ phân phối thực sự của $\hat{\theta}$ .

Bây giờ, đây là câu hỏi. Thông thường, bạn chỉ có một mẫu $X$ chứa $N$ điểm dữ liệu. Sau đó, bạn lấy mẫu lại từ mẫu này nhiều lần và bạn sẽ đưa ra bản phân phối bootstrap của $\hat{\theta}$ . Câu hỏi của tôi là: phân phối bootstrap này gần với phân phối lấy mẫu thực sự của $\hat{\theta}$ như thế nào? Có cách nào để định lượng nó?

bootstrap simulation resampling

— KevinKim
nguồn

Câu hỏi có liên quan cao này chứa rất nhiều thông tin bổ sung, đến mức làm cho câu hỏi này có thể là một bản sao.

— Tây An

Đầu tiên, cảm ơn tất cả các bạn đã trả lời câu hỏi của tôi rất nhanh chóng. Đây là lần đầu tiên tôi sử dụng trang web này. Tôi không bao giờ mong đợi câu hỏi của tôi sẽ thu hút sự chú ý của bất kỳ ai một cách trung thực. Tôi có một câu hỏi nhỏ ở đây, 'OP' là gì? @ Silverfish

— KevinKim

@Chen Jin: "OP" = poster gốc (tức là bạn!). Lời xin lỗi cho việc sử dụng một từ viết tắt, mà tôi chấp nhận là có thể gây nhầm lẫn.

— Cá bạc

Tôi đã chỉnh sửa tiêu đề sao cho phù hợp hơn với tuyên bố của bạn rằng "Câu hỏi của tôi là: mức độ gần với phân phối thực sự của ? Có cách nào để định lượng nó không?" Vui lòng hoàn nguyên nó nếu bạn không nghĩ rằng chỉnh sửa của tôi phản ánh ý định của bạn.

\hat{θ}

$\hat\theta$

— Cá bạc

@Silverfish Cảm ơn bạn rất nhiều. Khi tôi bắt đầu poster này, tôi không chắc lắm về câu hỏi của mình. Tiêu đề mới này là tốt.

— KevinKim

Câu trả lời:

Trong Lý thuyết thông tin, cách điển hình để định lượng mức độ "đóng" của phân phối này với phân phối khác là sử dụng phân kỳ KL

Chúng ta hãy thử minh họa nó với một bộ dữ liệu đuôi dài bị lệch rất nhiều - sự chậm trễ của việc đến máy bay trong sân bay Houston (từ gói hflights ). Đặt là công cụ ước tính trung bình. Đầu tiên, chúng tôi tìm phân phối lấy mẫu của và sau đó là phân phối bootstrap của $\hat \theta$ $\hat \theta$ $\hat \theta$

Đây là bộ dữ liệu:

nhập mô tả hình ảnh ở đây

Giá trị trung bình thực là 7,09 phút.

Đầu tiên, chúng tôi thực hiện một số mẫu nhất định để có được phân phối mẫu của , sau đó chúng tôi lấy một mẫu và lấy nhiều mẫu bootstrap từ nó. $\hat \theta$

Ví dụ: chúng ta hãy xem hai bản phân phối với kích thước mẫu 100 và 5000 lần lặp lại. Chúng ta thấy trực quan rằng các phân phối này khá khác nhau và phân kỳ KL là 0,48.

nhập mô tả hình ảnh ở đây

Nhưng khi chúng ta tăng kích thước mẫu lên 1000, chúng bắt đầu hội tụ (phân kỳ KL là 0,11)

nhập mô tả hình ảnh ở đây

Và khi cỡ mẫu là 5000, chúng rất gần nhau (phân kỳ KL là 0,01)

nhập mô tả hình ảnh ở đây

Tất nhiên, điều này phụ thuộc vào mẫu bootstrap mà bạn nhận được, nhưng tôi tin rằng bạn có thể thấy rằng phân kỳ KL giảm khi chúng tôi tăng kích thước mẫu và do đó, phân phối bootstrap của tiếp cận phân phối mẫu theo thuật ngữ của phân kỳ KL. Để chắc chắn, bạn có thể thử thực hiện một số bootstraps và lấy mức trung bình của phân kỳ KL. $\hat \theta$ $\hat \theta$

Đây là mã R của thử nghiệm này: https://gist.github.com/alexeygrigorev/0b97794aea78eee9d794

— Alexey Grigorev
nguồn

+1 và điều này cũng cho thấy rằng đối với bất kỳ kích thước mẫu nhất định (ví dụ 100), độ lệch bootstap có thể lớn và không thể tránh khỏi.

— amip nói rằng Phục hồi lại

Điều này là tuyệt vời! Vì vậy, để cho phép phân phối từ bootstrap gần với phân phối TRUE của , chúng ta cần cỡ mẫu phải không? Đối với bất kỳ kích thước mẫu cố định nào, phân phối được tạo từ bootstrap có thể rất khác với phân phối TRUE như được đề cập bởi @amoeba.

\hat{θ}

$\hat{\theta}$

\hat{θ}

$\hat{\theta}$

N

$N$

— KevinKim

Câu hỏi tiếp theo của tôi là: Nếu tôi đã sửa đủ lớn, thì tôi đã thực hiện 2 bootstraps, một lần chỉ lấy mẫu lại lần, và lần khác lấy mẫu lại . Có gì khác biệt giữa việc phân phối từ 2 bootstraps này? Câu hỏi này về cơ bản là hỏi khi chúng tôi sửa lỗi , vai trò của trong việc tạo phân phối . @Grigorev

N

$N$

B = 10

$B=10$

B = 10000

$B=10000$

\hat{θ}

$\hat{\theta}$

N

$N$

B

$B$

\hat{θ}

$\hat{\theta}$

— KevinKim

@Chen, nhưng phân phối của là một cái gì đó mà bạn có được bằng cách thực hiện resamples, phải không? Vì vậy, sự khác biệt giữa và là trong một trường hợp, bạn nhận được số để xây dựng phân phối của mình (không có nhiều thông tin ước tính không đáng tin cậy về độ lệch chuẩn của nó) và trong trường hợp khác, bạn nhận được số (nhiều đáng tin cậy hơn).

\hat{θ}

$\hat \theta$

B = 10

$B=10$

B = 10000

$B=10000$

10

$10$

\Rightarrow

$\Rightarrow$

10000

$10000$

— amip nói rằng phục hồi Monica

@Chen, tôi nghĩ rằng bạn có một chút bối rối hoặc không rõ ràng về những gì mà trong nhận xét của bạn được cho là. Nếu bạn lấy mẫu lại lần, bạn sẽ có được một bộ gồm số. Làm thế nào là một phân phối? Đó là một bộ số! Những con số này đến từ những gì bạn gọi là phân phối . Bạn càng nhận được nhiều số, bạn càng có thể ước tính tốt hơn .

F_{5}

$F_5$

5

$5$

5

$5$

F_{B}

$F_B$

F_{B}

$F_B$

— amip nói phục hồi Monica

Bootstrap dựa trên sự hội tụ của cdf theo kinh nghiệm với cdf thật, nghĩa là, hội tụ (khi đi đến vô cùng) đến cho mọi . Do đó, sự hội tụ của phân phối bootstrap của được điều khiển bởi sự hội tụ này xảy ra ở tốc độ cho mỗi , kể từ mặc dù tỷ lệ và giới hạn phân phối này không tự động chuyển sang

{\hat{F}}_{n} (x) = \frac{1}{n} \sum_{i = 1}^{n} I_{X_{i} \leq x} X_{i} \overset{iid}{\sim} F (x)

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)$ $n$

F (x)

$F(x)$

x

$x$

\hat{θ} (X_{1}, \dots, X_{n}) = g ({\hat{F}}_{n})

$\hat{\theta}(X_1,\ldots,X_n)=g(\hat{F}_n)$

\sqrt{n}

$\sqrt{n}$

x

$x$

\sqrt{n} {{\hat{F}}_{n} (x) - F (x)} \overset{dist}{⟶} N (0, F (x) [1 - F (x)])

$\sqrt{n}\{\hat{F}_n(x)-F(x)\}\stackrel{\text{dist}}{\longrightarrow}\mathsf{N}(0,F(x)[1-F(x)])$

g ({\hat{F}}_{n})

$g(\hat{F}_n)$ . Trong thực tế, để đánh giá mức độ biến thiên của xấp xỉ, bạn có thể đưa ra đánh giá bootstrap về phân phối bằng cách đánh giá bootstrap kép, tức là bằng cách đánh giá bootstrap.

g ({\hat{F}}_{n})

$g(\hat{F}_n)$

Là một bản cập nhật, đây là một minh họa tôi sử dụng trong lớp: nhập mô tả hình ảnh ở đây trong đó các lhs so sánh cdfvới cdfchoquan sát và rhs vẽbản sao của lhs, cho 250 mẫu khác nhau , để đo lường sự thay đổi của xấp xỉ cdf. Trong ví dụ này tôi biết sự thật và do đó tôi có thể mô phỏng từ sự thật để đánh giá sự biến đổi. Trong một tình huống thực tế, tôi không biếtvà do đó tôi phải bắt đầu từđể tạo ra một biểu đồ tương tự. $F$ $\hat{F}_n$ $n=100$ $250$ $F$ $\hat{F}_n$

Cập nhật thêm: Đây là hình ảnh ống trông như thế nào khi bắt đầu từ cdf theo kinh nghiệm: nhập mô tả hình ảnh ở đây

— Tây An
nguồn

Mấu chốt của câu trả lời này là bootstrap hoạt động vì nó là một xấp xỉ mẫu lớn . Tôi không nghĩ rằng điểm này được nhấn mạnh đủ

— Shadowtalker

Ý tôi là, "nhấn mạnh thường là đủ nói chung"

— Shadowtalker

@ Xi'an Cảm ơn rất nhiều. Tôi thích 2 bảng cuối cùng, vì vậy trong ví dụ này, hãy giả vờ rằng chúng ta không biết cdf thực sự, tức là đường cong màu đỏ trên lhs, tôi chỉ có cdf theo kinh nghiệm từ một mẫu . Sau đó, tôi làm lại mẫu từ mẫu này. Sau đó, tôi tạo ra một biểu đồ tương tự như rhs. Đồ thị mới này có ống rộng hơn ống hiện tại trên hình rhs hiện tại của bạn không? Và liệu ống mới vẫn tập trung xung quanh cdf thật, tức là đường cong màu đỏ như ống trên hình rhs hiện tại của bạn?

\hat{F}

$\hat{F}$

n = 100

$n=100$

— KevinKim

Các ống được sản xuất bằng cách tạo ra CDFS thực nghiệm dựa trên các mẫu được tạo ra từ một lũy kinh nghiệm là cuối cùng ít rộng hơn so với sản xuất từ sự thật như chúng tôi luôn sử dụng cùng một datapoints. Và ống mới được tập trung xung quanh cdf theo kinh nghiệm, không phải là thực sự . Do đó có sự thiên vị về quy mô và vị trí cho ống đó.

F

$F$

n

$n$

F

$F$

— Tây An

@ Tây An Rất đẹp! sẽ còn đẹp hơn nữa nếu hình thứ 2 và thứ 3 có thể được kết hợp với nhau trong một hình

— KevinKim