Giải thích cho giáo dân tại sao bootstrapping hoạt động


326

Gần đây tôi đã sử dụng bootstrapping để ước tính khoảng tin cậy cho một dự án. Một số người gần đây không biết nhiều về số liệu thống kê đã yêu cầu tôi giải thích lý do tại sao bootstrapping hoạt động, tức là tại sao việc lấy lại mẫu tương tự lặp đi lặp lại lại cho kết quả tốt. Tôi nhận ra rằng mặc dù tôi đã dành rất nhiều thời gian để hiểu cách sử dụng nó, tôi thực sự không hiểu tại sao bootstrapping hoạt động.

Cụ thể: nếu chúng ta lấy mẫu lại từ mẫu của mình, làm thế nào mà chúng ta đang học được điều gì đó về dân số chứ không chỉ về mẫu? Dường như có một bước nhảy vọt có phần phản trực giác.

Tôi đã tìm thấy một vài câu trả lời cho câu hỏi này ở đây mà tôi hiểu được một nửa. Riêng cái này . Tôi là một "người tiêu dùng" số liệu thống kê, không phải là một nhà thống kê và tôi làm việc với những người biết ít về thống kê hơn tôi. Vì vậy, ai đó có thể giải thích, với tối thiểu các tài liệu tham khảo cho các định lý, vv, lý do cơ bản đằng sau bootstrap? Đó là, nếu bạn phải giải thích nó với hàng xóm của mình, bạn sẽ nói gì?


13
(+1) Bạn có thể đề cập ngắn gọn các câu hỏi bạn đã xem, nhưng điều đó không làm bạn hài lòng. Có rất nhiều câu hỏi trên bootstrap ở đây. :)
Đức hồng y

@cardinal Cảm ơn, tôi đã cập nhật bài viết gốc. Hy vọng nó rõ ràng hơn. :)
Alan H.

5
Một điều cần lưu ý - bootstrapping không hoạt động dễ dàng đối với dữ liệu có cấu trúc phân cấp - chẳng hạn như mô hình đa cấp và thiết kế lấy mẫu nhiều giai đoạn. Rất khó hiểu khi biết "bootstrap" nào bạn nên sử dụng.
xác suất

2
Về cơ bản, bootstrap hoạt động vì nó là khả năng tối đa không theo tỷ lệ. Vì vậy, khi có vấn đề với khả năng tối đa, bạn có thể mong đợi các vấn đề với bootstrap.
kjetil b halvorsen 18/03/2015

3
Jake VanderPlas đã có một cuộc nói chuyện tuyệt vời tại PyCon 16 về bootstrapping và một số kỹ thuật liên quan khác. Xem các slide bắt đầu từ slide 71 và quay video .
thm

Câu trả lời:


198

fwiw phiên bản có độ dài trung bình tôi thường đưa ra như thế này:

Bạn muốn hỏi một câu hỏi về dân số nhưng bạn không thể. Vì vậy, bạn lấy một mẫu và đặt câu hỏi của nó thay thế. Bây giờ, bạn nên tự tin đến mức nào khi câu trả lời mẫu gần với câu trả lời dân số rõ ràng phụ thuộc vào cấu trúc dân số. Một cách bạn có thể tìm hiểu về điều này là lấy mẫu từ dân số hết lần này đến lần khác, hỏi họ câu hỏi và xem biến câu trả lời của mẫu có xu hướng như thế nào. Vì điều này là không thể, bạn có thể đưa ra một số giả định về hình dạng của dân số hoặc bạn có thể sử dụng thông tin trong mẫu mà bạn thực sự phải tìm hiểu về nó.

Hãy tưởng tượng bạn quyết định đưa ra các giả định, ví dụ như đó là Bình thường, hoặc Bernoulli hoặc một số tiểu thuyết tiện lợi khác. Theo chiến lược trước đó, bạn có thể tìm hiểu lại về câu trả lời cho câu hỏi của bạn khi được hỏi về một mẫu có thể thay đổi tùy thuộc vào mẫu cụ thể mà bạn đã nhận được bằng cách liên tục tạo các mẫu có cùng kích thước với mẫu bạn có và hỏi chúng giống nhau câu hỏi Điều đó sẽ đơn giản đến mức bạn chọn các giả định thuận tiện về mặt tính toán. (Thực sự các giả định đặc biệt thuận tiện cộng với toán học không tầm thường có thể cho phép bạn bỏ qua phần lấy mẫu hoàn toàn, nhưng chúng tôi sẽ cố tình bỏ qua điều đó ở đây.)

Đây có vẻ là một ý tưởng tốt với điều kiện bạn rất vui khi đưa ra các giả định. Hãy tưởng tượng bạn không phải. Một cách khác là lấy mẫu bạn có và lấy mẫu từ nó. Bạn có thể làm điều này bởi vì mẫu bạn có cũng là một quần thể, chỉ là một mẫu rất nhỏ; nó trông giống như biểu đồ dữ liệu của bạn Lấy mẫu 'với sự thay thế' chỉ là một cách thuận tiện để xử lý mẫu như dân số và lấy mẫu từ đó theo cách phản ánh hình dạng của nó.

Đây là một điều hợp lý để làm bởi vì không chỉ mẫu bạn có là tốt nhất, thực sự là thông tin duy nhất bạn có về dân số thực sự trông như thế nào, mà còn bởi vì hầu hết các mẫu sẽ, nếu được chọn ngẫu nhiên, trông khá giống dân số họ đến từ. Do đó, có khả năng là bạn cũng vậy.

Đối với trực giác, điều quan trọng là suy nghĩ về cách bạn có thể tìm hiểu về tính biến đổi bằng cách tổng hợp thông tin được lấy mẫu được tạo theo nhiều cách khác nhau và trên các giả định khác nhau. Hoàn toàn bỏ qua khả năng của các giải pháp toán học dạng đóng là rất quan trọng để hiểu rõ về điều này.


5
Câu trả lời tốt đẹp. Tôi đặc biệt thích đoạn áp chót.
Peter Flom

19
(+1) Đây là một câu trả lời tốt. Tôi nghĩ rằng có thể có một cách để tiếp tục rút ra một điểm rất quan trọng. Theo cách bootstrap thường được thực hiện, có hai hiệu ứng đang xảy ra. Đầu tiên, chúng tôi đang giả vờ rằng mẫu mà chúng tôi đã lấy là một ủy quyền cho dân số của chúng tôi. Đây là một điều hợp lý để làm, với điều kiện kích thước mẫu của chúng tôi là khá lớn. Tuy nhiên, chúng tôi thường gặp khó khăn khi tính toán số tiền lãi thực tế từ phân phối giả vờ đó. Vì vậy , chúng tôi phải ước tính chúng, và đây là lý do tại sao chúng tôi vẽ rất nhiều mẫu bootstrap. Nếu chúng ta có thể ... / ...
hồng y

11
... / ... tính số lượng quan tâm trực tiếp cho phân phối giả vờ của chúng tôi, chúng tôi muốn làm điều đó. Và, đó sẽ là bootstrap thực sự . Nhưng, thông thường chúng ta không thể, vì vậy, chúng ta giảm việc phải thay đổi kích thước, thay vào đó.
Đức hồng y

8
@ naught101: "Lớn một cách hợp lý" có thể được định lượng khá tốt bởi sự bất bình đẳng DKW (nếu bạn muốn, bạn có thể xem câu trả lời của tôi trong liên kết trong câu hỏi của OP) và liên quan đến rất nhiều , nó phụ thuộc vào thống kê mẫu quan tâm, nhưng nếu chúng ta có các mẫu bootstrap , thì với Monte Carlo đơn giản, chúng ta biết rằng lỗi tiêu chuẩn là theo thứ tự khoảng . BO(B1/2)
Đức hồng y

4
@cardinal: Bình luận hay. Rất nhiều người nghĩ rằng bootstrap và resampling là điều tương tự khi trên thực tế cái sau là một công cụ được sử dụng cho cái trước. Một quan niệm sai lầm tương tự là nhiều người sử dụng số liệu thống kê có xu hướng khiến phân tích MCMC và Bayes bị nhầm lẫn.
MånsT

122

+1 cho @ConjugateP Warrior, tôi chỉ muốn đưa ra một điểm ẩn trong câu trả lời của anh ấy. Câu hỏi đặt ra, "nếu chúng ta lấy mẫu lại từ mẫu của mình, làm thế nào mà chúng ta đang học được điều gì đó về dân số chứ không chỉ về mẫu?" Lấy mẫu lại không được thực hiện để đưa ra ước tính phân bố dân số - chúng tôi lấy mẫu của mình làm mô hình dân số. Thay vào đó, việc lấy mẫu lại được thực hiện để đưa ra ước tính phân phối mẫu của thống kê mẫu được đề cập.


10
(+1) Điều này gần với điểm mà tôi đang cố gắng đưa ra trong nhận xét cho câu trả lời của ConjugateP Warrior, mặc dù bạn đã nói rõ hơn và rõ ràng hơn. Trong một số trường hợp đặc biệt, chúng tôi có thể tính toán phân phối mẫu của thống kê kiểm tra chính xác theo phân phối thực nghiệm thu được từ mẫu . Nhưng, thông thường, chúng ta không thể và vì vậy chúng ta buộc phải mô phỏng. :)
Đức hồng y

7
Tôi hiểu, vì vậy nếu tôi hiểu bạn, thì kỹ thuật này giả định rằng mẫu là một mô hình dân số đầy đủ, và do đó, việc lấy lại mẫu đó trên quy mô đủ lớn sẽ tiết lộ điều gì đó về dân số, nhưng chỉ ở mức độ mẫu ban đầu là một trong những tốt. Bây giờ tôi đã nói theo cách đó dường như gần như rõ ràng ...
Alan H.

4
@AlanH., Tôi chỉ muốn thay đổi "... sẽ tiết lộ điều gì đó về dân số " thành "... sẽ tiết lộ điều gì đó về phân phối mẫu " (của thống kê có vấn đề, ví dụ: có nghĩa là). Nhưng, vâng, bạn có nó ở đó
gung

Tất cả đều đúng, tất nhiên. Cá nhân, và hoàn toàn vì lý do sư phạm, tôi lưu điểm này cho 'phiên bản dài hơn' của mình, bởi vì trong những khán giả cụ thể của tôi, điểm này có xu hướng đánh bật trực giác trẻ và vẫn không ổn định của họ một chút nếu không áp dụng quá sớm.
liên hợp chiến

3
@ErosRam, bootstrapping là để xác định phân phối lấy mẫu của một cái gì đó. Bạn có thể làm điều đó cho một thống kê mẫu (ví dụ: phân vị thứ 56) hoặc thống kê kiểm tra (t), v.v. Trong ví dụ nhị thức của tôi, phân phối mẫu rõ ràng sẽ là 0 đầu - 25%; 1 đầu - 50%; 2 đầu - 25%; Đây là rõ ràng w / o resampling. Đức Hồng Y có một bình luận ở đâu đó giải thích điều này (nhiều câu trả lời hay nhất trên trang web là bình luận của Đức Hồng Y), nhưng thật khó để tìm thấy vì đó là một bình luận.
gung

43

Đây có lẽ là một lời giải thích kỹ thuật hơn nhằm vào những người hiểu một số thống kê và toán học (ít nhất là tính toán). Đây là một slide từ một khóa học về bootstraps khảo sát mà tôi đã dạy trước đây:

nguyên tắc bootstrap

Một số giải thích là cần thiết, tất nhiên. là thủ tục để lấy số liệu thống kê từ dữ liệu hiện có (hoặc, chính xác về mặt kỹ thuật, một chức năng từ hàm phân phối đến số thực, ví dụ: giá trị trung bình là , trong đó đối với hàm phân phối mẫu , được hiểu là một khối điểm tại một điểm mẫu). Trong dân số, ký hiệu là , ứng dụng của đưa ra tham số quan tâm . Bây giờ, chúng tôi đã lấy một mẫu (mũi tên đầu tiên ở trên cùng) và có hàm phân phối theo kinh nghiệm - chúng tôi áp dụng cho nó để lấy ước tínhTE[X]=xdFFn()dFF()TθFn()Tθ^n . Chúng ta tự hỏi bao xa từ ? Phân phối mà số lượng ngẫu nhiên có thể có xung quanh gì? Đây là dấu hỏi ở phía dưới bên trái của sơ đồ và đây là câu hỏi mà bootstrap cố gắng trả lời. Để nói lại quan điểm của gung, đây không phải là câu hỏi về dân số, mà là câu hỏi về một thống kê cụ thể và phân phối của nó.θθ^nθ

Nếu chúng tôi có thể lặp lại quy trình lấy mẫu, chúng tôi có thể nhận được phân phối đó và tìm hiểu thêm. Vâng, đó thường là vượt quá khả năng của chúng tôi. Tuy nhiên, nếu

  1. Fn đủ gần với , theo nghĩa phù hợp vàF
  2. ánh xạ đủ mượt, nghĩa là, nếu chúng ta có độ lệch nhỏ so với , kết quả sẽ được ánh xạ tới các số gần với ,TF()θ

chúng ta có thể hy vọng rằng thủ tục bootstrap sẽ hoạt động. Cụ thể, chúng tôi giả vờ rằng phân phối của chúng tôi là chứ không phải và cùng với đó chúng tôi có thể giải trí tất cả các mẫu có thể - và sẽ có các mẫu như vậy, chỉ thực tế cho . Tôi xin nhắc lại lần nữa: bootstrap hoạt động để tạo phân phối lấy mẫu của xung quanh tham số "true" và chúng tôi hy vọng rằng với hai điều kiện trên, phân phối lấy mẫu này là thông tin về phân phối lấy mẫu của quanh :Fn()F()nnn5θ^nθ^nθ^nθ

θ^n to θ^n is like θ^n to θ

Bây giờ, thay vì chỉ đi một chiều dọc theo mũi tên và mất một số thông tin / độ chính xác dọc theo các mũi tên này, chúng ta có thể quay lại và nói điều gì đó về sự biến đổi của xung quanh .θ^nθ^n

Các điều kiện trên được đánh vần là kỹ thuật tối đa trong cuốn sách của Hall (1991) . Sự hiểu biết về tính toán mà tôi đã nói có thể được yêu cầu như một điều kiện tiên quyết để nhìn chằm chằm vào slide này là giả định thứ hai liên quan đến độ trơn tru: trong ngôn ngữ chính thức hơn, chức năng phải có đạo hàm yếu. Tất nhiên, điều kiện đầu tiên là một tuyên bố tiệm cận: mẫu của bạn càng lớn, càng gần với ; và khoảng cách từ đến phải có cùng độ lớn với khoảng cách từ đến . Những điều kiện này có thể phá vỡ, và chúng phá vỡTFnFθ^nθ^nθ^nθtrong một số tình huống thực tế với số liệu kỳ lạ đủ và / hoặc các chương trình lấy mẫu mà không tạo ra sự phân bố thực nghiệm mà là đủ gần để .F

Bây giờ, 1000 mẫu đó, hoặc bất cứ con số ma thuật nào có thể đến từ đâu? Nó xuất phát từ việc chúng tôi không thể vẽ tất cả các mẫu , vì vậy chúng tôi chỉ lấy một tập hợp con ngẫu nhiên trong số này. Mũi tên "mô phỏng" đúng nhất nêu lên một xấp xỉ khác mà chúng tôi đang thực hiện để có được phân phối xung quanh , và đó là để nói rằng phân phối mô phỏng Monte Carlo của chúng tôi về là một xấp xỉ đủ tốt để phân phối bootstrap hoàn chỉnh của xung quanh .nnθ^nθθ^n(r)θ^nθ^n


7
Câu trả lời này hoàn toàn bỏ lỡ quan điểm cố gắng tiếp cận đối tượng giáo dân.
Tripartio

20

Tôi đang trả lời câu hỏi này vì tôi đồng ý rằng đây là một điều khó thực hiện và có nhiều quan niệm sai lầm. Efron và Diaconis đã cố gắng làm điều đó trong bài báo Khoa học Mỹ năm 1983 và theo quan điểm của tôi, họ đã thất bại. Có một số cuốn sách hiện đang dành cho bootstrap làm tốt công việc. Efron và Tibshirani đã làm rất tốt trong bài báo của họ về Khoa học thống kê năm 1986. Tôi đã rất cố gắng để bootstrap có thể truy cập được vào học viên trong cuốn sách phương pháp bootstrap của tôi và giới thiệu của tôi để bootstrap với các ứng dụng cho cuốn sách của R. Hall là tuyệt vời nhưng rất tiên tiến và lý thuyết . Tim Hesterberg đã viết một chương bổ sung tuyệt vời cho một trong những cuốn sách thống kê giới thiệu của David Moore. Clifford Lunneborg quá cố đã có một cuốn sách hay. Chihara và Hesterberg gần đây đã xuất hiện một cuốn sách thống kê toán học ở trình độ trung cấp bao gồm bootstrap và các phương pháp lấy mẫu khác. Ngay cả những cuốn sách nâng cao như Lahiri hay Shao và Tu cũng đưa ra những giải thích khái niệm tốt. Manly làm tốt với cuốn sách của mình bao gồm các hoán vị và bootstrap Không có lý do gì để bối rối về bootstrap nữa. Điều quan trọng cần lưu ý là bootstrap phụ thuộc vào nguyên tắc bootstrap "Lấy mẫu với hành vi thay thế trên mẫu ban đầu theo cách mẫu ban đầu hành xử trên dân số. Có những ví dụ về nguyên tắc này thất bại. Điều quan trọng là phải biết rằng bootstrap không phải là câu trả lời cho mọi vấn đề thống kê. s đưa ra giải thích khái niệm tốt. Manly làm tốt với cuốn sách của mình bao gồm các hoán vị và bootstrap Không có lý do gì để bối rối về bootstrap nữa. Điều quan trọng cần lưu ý là bootstrap phụ thuộc vào nguyên tắc bootstrap "Lấy mẫu với hành vi thay thế trên mẫu ban đầu theo cách mẫu ban đầu hành xử trên dân số. Có những ví dụ về nguyên tắc này thất bại. Điều quan trọng là phải biết rằng bootstrap không phải là câu trả lời cho mọi vấn đề thống kê. s đưa ra giải thích khái niệm tốt. Manly làm tốt với cuốn sách của mình bao gồm các hoán vị và bootstrap Không có lý do gì để bối rối về bootstrap nữa. Điều quan trọng cần lưu ý là bootstrap phụ thuộc vào nguyên tắc bootstrap "Lấy mẫu với hành vi thay thế trên mẫu ban đầu theo cách mẫu ban đầu hành xử trên dân số. Có những ví dụ về nguyên tắc này thất bại. Điều quan trọng là phải biết rằng bootstrap không phải là câu trả lời cho mọi vấn đề thống kê. Lấy mẫu với thay thế hành xử trên mẫu ban đầu theo cách mẫu ban đầu cư xử trên quần thể. Có những ví dụ mà nguyên tắc này thất bại. Điều quan trọng cần biết là bootstrap không phải là câu trả lời cho mọi vấn đề thống kê. Lấy mẫu với thay thế hành xử trên mẫu ban đầu theo cách mẫu ban đầu cư xử trên quần thể. Có những ví dụ mà nguyên tắc này thất bại. Điều quan trọng cần biết là bootstrap không phải là câu trả lời cho mọi vấn đề thống kê.

Dưới đây là các liên kết amazon đến tất cả các cuốn sách tôi đã đề cập và nhiều hơn nữa.

Thống kê toán học với Resampling và R

Phương thức Bootstrap và ứng dụng của chúng

Phương pháp Bootstrap: Hướng dẫn cho các học viên và nhà nghiên cứu

Giới thiệu về các phương thức Bootstrap với các ứng dụng cho R

Phương pháp lấy mẫu lại cho dữ liệu phụ thuộc

Phương pháp ngẫu nhiên, Bootstrap và Monte Carlo trong sinh học

Giới thiệu về Bootstrap

Thực hành đồng hành thống kê kinh doanh Chương 18: Phương pháp khởi động và kiểm tra hoán vị

Phân tích dữ liệu bằng cách lấy mẫu lại: Các khái niệm và ứng dụng

Jackknife, Bootstrap và các kế hoạch lấy mẫu khác

Jackknife và Bootstrap

Các phép thử hoán vị, tham số và Bootstrap của các giả thuyết

Bản mở rộng Bootstrap và Edgeworth


2
@Ngươi hay chân chư. Tôi đang làm điều đó thường xuyên hơn. trong một số trường hợp, tôi vội vàng đăng câu trả lời của mình và quay lại để làm sạch nó sau. Tôi chưa hiểu rõ về việc chuyển đổi địa chỉ liên kết thành liên kết theo tiêu đề và tôi không chắc chắn rằng đó là tất cả những gì cần thiết. Đó chỉ là một cú nhấp chuột nhưng nếu bạn không thể chờ đợi thì tôi không phiền bạn thực hiện các chỉnh sửa. Trong thực tế tôi đánh giá cao nó.
Michael Chernick

1
Tôi sẽ thay đổi nhận xét của mình thành "Tôi không phiền bạn thực hiện các chỉnh sửa" với "Nhưng nếu bạn không thể chờ đợi" được đưa ra. Tôi thấy những gì bạn đã làm gọn gàng và dễ dàng hơn và có thể mất ít thời gian hơn nhưng tôi chưa học được nó và tôi không thấy điều này là một vấn đề lớn như cách mà một số người điều hành và các thành viên khác làm.
Michael Chernick

1
(+1) Tôi trao cho bạn sức mạnh của điểm @Michael Chernick. 10,000

Cảm ơn bạn trì hoãn. tôi đã dự đoán có thể đạt được tổng số ngày hôm nay.
Michael Chernick

10

Thông qua bootstrapping, bạn chỉ cần lấy mẫu nhiều lần từ cùng một nhóm dữ liệu (dữ liệu mẫu của bạn) để ước tính mức độ chính xác của bạn về toàn bộ dân số (những gì thực sự tồn tại trong thế giới thực).

Nếu bạn đã lấy một mẫu và ước tính dân số thực, bạn có thể không ước tính được mức độ chính xác của ước tính của bạn - chúng tôi chỉ có một ước tính và không xác định được ước tính này thay đổi như thế nào với các mẫu khác nhau mà chúng tôi có thể gặp phải.

Với bootstrapping, chúng tôi sử dụng mẫu chính này để tạo nhiều mẫu. Ví dụ: nếu chúng tôi đo lường lợi nhuận mỗi ngày trong hơn 1000 ngày, chúng tôi có thể lấy các mẫu ngẫu nhiên từ bộ này. Chúng tôi có thể thu lợi nhuận từ một ngày ngẫu nhiên, ghi lại nó, nhận lợi nhuận từ một ngày ngẫu nhiên khác (có thể xảy ra cùng ngày với trước đó - lấy mẫu bằng thay thế), ghi lại, và cứ thế, cho đến khi chúng tôi nhận được "mới" mẫu 1000 ngày (từ mẫu ban đầu).

Mẫu "mới" này không giống với mẫu ban đầu - thực sự chúng tôi có thể tạo ra một số mẫu "mới" như trên. Khi chúng tôi xem xét các biến thể của phương tiện và ước tính, chúng tôi có thể đọc được mức độ chính xác của các ước tính ban đầu.

Chỉnh sửa - để phản hồi bình luận

Các mẫu "mới hơn" không giống với mẫu đầu tiên và các ước tính mới dựa trên các mẫu này sẽ khác nhau. Điều này mô phỏng các mẫu lặp đi lặp lại của dân số. Các biến thể trong ước tính của các mẫu "mới hơn" được tạo bởi bootstrap sẽ làm sáng tỏ cách ước tính mẫu sẽ thay đổi theo các mẫu khác nhau từ dân số. Trên thực tế đây là cách chúng ta có thể thử đo độ chính xác của các ước tính ban đầu.

Tất nhiên, thay vì bootstrapping, bạn có thể lấy một số mẫu mới từ dân số nhưng điều này có thể không khả thi.


5
Cảm ơn! Điều này nhiều tôi hiểu. Tôi đặc biệt tự hỏi làm thế nào việc lấy mẫu lại từ một mẫu dân số giúp hiểu được dân số tiềm ẩn. Nếu chúng ta lấy mẫu lại từ một mẫu, làm thế nào mà chúng ta đang học được điều gì đó về dân số chứ không chỉ về mẫu? Dường như có một bước nhảy vọt có phần phản trực giác.
Alan H.

4

Tôi nhận ra đây là một câu hỏi cũ với câu trả lời được chấp nhận, nhưng tôi muốn cung cấp quan điểm của tôi về phương pháp bootstrap. Tôi không phải là một chuyên gia (nhiều hơn một người dùng thống kê, như OP) và hoan nghênh mọi sửa đổi hoặc nhận xét.

Tôi thích xem bootstrap như một khái quát của phương thức jackknife. Vì vậy, giả sử bạn có mẫu S có kích thước 100 và ước tính một số tham số bằng cách sử dụng thống kê T (S). Bây giờ, bạn muốn biết khoảng tin cậy cho ước tính điểm này. Trong trường hợp bạn không có mô hình và biểu thức phân tích cho lỗi tiêu chuẩn, bạn có thể tiếp tục và xóa một phần tử khỏi mẫu, tạo mẫu với phần tử i đã bị xóa. Bây giờ bạn có thể tính và nhận 100 ước tính mới về tham số mà từ đó bạn có thể tính toán, ví dụ như lỗi tiêu chuẩn và tạo khoảng tin cậy. Đây là phương pháp jackknife JK-1.SiT(Si)

Thay vào đó, bạn có thể xem xét tất cả các tập hợp con có kích thước 98 và nhận được JK-2 (đã xóa 2 phần tử) hoặc JK-3, v.v.

Bây giờ, bootstrap chỉ là một phiên bản ngẫu nhiên của cái này. Bằng cách thực hiện lấy mẫu lại thông qua lựa chọn với các thay thế, bạn sẽ "xóa" một số phần tử ngẫu nhiên (có thể không có) và "thay thế" chúng bằng một (hoặc nhiều) bản sao.

Bằng cách thay thế bằng các bản sao, bộ dữ liệu được lấy mẫu lại luôn có cùng kích thước. Đối với jackknife, bạn có thể hỏi ảnh hưởng của việc xác định đối với các mẫu có kích thước 99 thay vì 100, nhưng nếu cỡ mẫu "đủ lớn" thì điều này có thể không thành vấn đề.

Trong jackknife, bạn không bao giờ trộn lẫn xóa-1 và xóa-2, v.v., để đảm bảo các ước tính được cắm là từ các mẫu có cùng kích thước.

Bạn cũng có thể xem xét tách mẫu có kích thước 100 thành ví dụ 10 mẫu có kích thước 10. Điều này trong một số khía cạnh lý thuyết sẽ sạch hơn (các tập con độc lập) nhưng làm giảm kích thước mẫu (từ 100 đến 10) đến mức không thực tế (trong hầu hết các trường hợp).

Bạn cũng có thể xem xét các tập con chồng chéo một phần có kích thước nhất định. Tất cả điều này được xử lý một cách tự động và thống nhất và ngẫu nhiên bằng phương pháp bootstrap.

Hơn nữa, phương pháp bootstrap cung cấp cho bạn ước tính phân phối mẫu của thống kê của bạn từ phân phối theo kinh nghiệm của mẫu ban đầu, do đó bạn có thể phân tích các thuộc tính khác của thống kê bên cạnh lỗi tiêu chuẩn.


1

Paraphrasing Fox , tôi sẽ bắt đầu bằng cách nói rằng quá trình lấy mẫu lại nhiều lần từ mẫu quan sát của bạn đã được hiển thị để mô phỏng quá trình lấy mẫu ban đầu từ toàn bộ dân số.


liên kết ở trên không còn tồn tại nên tôi không biết Fox nói gì. Nhưng không có địa chỉ nào tôi quan tâm rằng bootstrapping tạo ra lỗi. Giả sử bạn muốn biết về tần suất tương đối của các ngôn ngữ trên trái đất. Nếu bạn lấy mẫu của bạn từ internet và chỉ lấy lại mẫu đó, bạn sẽ bỏ lỡ tất cả các ngôn ngữ không có trên mạng.
aquagremlin

1

Một mẫu hữu hạn của dân số xấp xỉ phân phối giống như cách biểu đồ xấp xỉ nó. Bằng cách lấy mẫu lại, mỗi số lượng thùng được thay đổi và bạn có được một xấp xỉ mới. Các giá trị đếm lớn dao động ít hơn các giá trị đếm nhỏ cả trong dân số gốc trong tập hợp được lấy mẫu. Vì bạn đang giải thích điều này với một giáo dân, bạn có thể lập luận rằng đối với số lượng thùng lớn, đây gần như là căn bậc hai của số lượng thùng trong cả hai trường hợp.

Nếu tôi tìm thấy đỏ và mẫu khác trong số mẫu, việc lấy mẫu lại sẽ ước tính biến động của các đầu đỏ là , giống như giả sử rằng dân số ban đầu thực sự phân phối . Vì vậy, nếu chúng ta ước tính xác suất thực như xác suất được lấy mẫu, chúng ta có thể ước tính được lỗi lấy mẫu "xung quanh" giá trị này.2080100(0.2×0.8)×1001:4

Tôi nghĩ điều quan trọng là phải nhấn mạnh rằng bootstrap không phát hiện ra dữ liệu "mới", nó chỉ là một cách thuận tiện, không tham số để xác định xấp xỉ mẫu cho biến động mẫu nếu xác suất thực được đưa ra bởi mẫu được lấy mẫu.


Tôi đã thực hiện các thay đổi định dạng nhỏ trong câu trả lời của bạn - vui lòng hoàn nguyên chúng nếu bạn thấy chúng không phù hợp. Điều có thể cần làm rõ thêm là tại sao có một căn bậc hai?
Tim

1

Lưu ý rằng trong thống kê suy luận cổ điển, thực thể lý thuyết kết nối một mẫu với dân số như một công cụ ước tính tốt của dân số là phân phối mẫu (tất cả các mẫu có thể được rút ra từ dân số). Phương thức bootstrap đang tạo ra một loại phân phối lấy mẫu (phân phối dựa trên nhiều mẫu). Chắc chắn, đó là một phương pháp khả năng tối đa, nhưng logic cơ bản không khác biệt so với lý thuyết xác suất truyền thống đằng sau các thống kê dựa trên phân phối thông thường cổ điển.


0

Quan điểm của tôi là rất nhỏ.

Bootstrap hoạt động vì nó tính toán mạnh mẽ khai thác tiền đề chính của chương trình nghiên cứu của chúng tôi.

Để cụ thể hơn, trong thống kê hoặc sinh học, hoặc hầu hết các ngành khoa học phi lý thuyết, chúng tôi nghiên cứu các cá nhân, do đó thu thập các mẫu.

Tuy nhiên, từ các mẫu như vậy, chúng tôi muốn đưa ra suy luận về các cá nhân khác, trình bày cho chúng tôi trong tương lai hoặc trong các mẫu khác nhau.

Với bootstrap, bằng cách xác định rõ ràng mô hình hóa của chúng tôi trên các thành phần riêng lẻ trong mẫu của chúng tôi, chúng tôi có thể tốt hơn (với ít giả định hơn, thường) suy ra và dự đoán cho các cá nhân khác.


1
Điều này dường như không phân biệt bootstrap với bất kỳ thủ tục thống kê nào khác bắt đầu bằng dữ liệu thô. Dường như chỉ để phân biệt những quy trình này dựa trên các số liệu thống kê tóm tắt hoặc tần số đã được xử lý.
whuber

0

Khi giải thích cho người mới bắt đầu, tôi nghĩ sẽ giúp lấy một ví dụ cụ thể ...

Hãy tưởng tượng bạn đã có một mẫu ngẫu nhiên gồm 9 phép đo từ một số người. Giá trị trung bình của mẫu là 60. Chúng ta có thể chắc chắn rằng trung bình của toàn bộ dân số cũng là 60 không? Rõ ràng không phải vì các mẫu nhỏ sẽ thay đổi, vì vậy ước tính 60 có thể không chính xác. Để tìm hiểu có bao nhiêu mẫu như thế này sẽ thay đổi, chúng ta có thể chạy một số thử nghiệm - sử dụng phương pháp gọi là bootstrapping.

Số đầu tiên trong mẫu là 74 và số thứ hai là 65, vì vậy hãy tưởng tượng một dân số "giả vờ" lớn bao gồm một phần chín 74, một phần chín 65, v.v. Cách dễ nhất để lấy một mẫu ngẫu nhiên từ quần thể này là lấy một số ngẫu nhiên từ mẫu chín, sau đó thay thế nó để bạn có mẫu ban đầu là chín và chọn một số khác một cách ngẫu nhiên, và cứ thế cho đến khi bạn có một "Lấy mẫu lại" của 9. Khi tôi làm điều này, 74 không xuất hiện chút nào nhưng một số con số khác xuất hiện hai lần và giá trị trung bình là 54,4. (Điều này được thiết lập trên bảng tính tại http://woodm.myweb.port.ac.uk/SL/resample.xlsx - nhấp vào tab bootstrap ở cuối màn hình.)

Khi tôi lấy 1000 mẫu theo cách này, phương tiện của chúng thay đổi từ 44 đến 80, với 95% trong khoảng từ 48 đến 72. Điều đó cho thấy rằng có sai số lên tới 16-20 đơn vị (44 là 16 dưới mức trung bình dân số giả định là 60, 80 là 20 đơn vị ở trên) trong việc sử dụng các mẫu có kích thước 9 để ước tính trung bình dân số. và rằng chúng tôi có thể tin tưởng 95% rằng lỗi sẽ là 12 hoặc ít hơn. Vì vậy, chúng ta có thể tin tưởng 95% rằng dân số có nghĩa là sẽ nằm trong khoảng từ 48 đến 72.

Có một số giả định được nêu ra ở đây, một giả định rõ ràng là giả định rằng mẫu đưa ra một bức tranh hữu ích về dân số - kinh nghiệm cho thấy điều này thường hoạt động tốt với điều kiện mẫu khá lớn (9 hơi nhỏ nhưng dễ dàng hơn xem những gì đang xảy ra). Bảng tính tại http://woodm.myweb.port.ac.uk/SL/resample.xlsx cho phép bạn xem các mẫu riêng lẻ, biểu đồ biểu đồ của 1000 mẫu, thử nghiệm với các mẫu lớn hơn, v.v. tại https://arxiv.org/abs/1803.06214 .


Điều này là cơ bản và có thể trực quan nhưng tôi không nghĩ rằng đó là lý do bootstrap hoạt động.
Michael Chernick
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.