Khi nào ước tính bootstrap của bias là hợp lệ?

31

Người ta thường tuyên bố rằng bootstrapping có thể cung cấp ước tính sai lệch trong công cụ ước tính.

Nếu là ước tính cho một số thống kê và là bản sao bootstrap (với ), thì ước tính sai lệch bootstrap là có vẻ cực kỳ đơn giản và mạnh mẽ, đến mức không đáng lo ngại. $\hat t$ $\tilde t_i$ $i\in\{1,\cdots,N\}$

{b i a s}_{t} \approx \frac{1}{N} \sum_{i} {\tilde{t}}_{i} - \hat{t}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i-\hat t \end{equation}$

Tôi không thể hiểu được làm thế nào điều này là có thể mà không cần một công cụ ước tính không thiên vị về thống kê. Ví dụ: nếu công cụ ước tính của tôi chỉ trả về một hằng số độc lập với các quan sát, thì ước tính sai lệch ở trên rõ ràng là không hợp lệ.

Mặc dù ví dụ này là bệnh hoạn, tôi không thể thấy các giả định hợp lý về công cụ ước tính và các bản phân phối sẽ đảm bảo rằng ước tính bootstrap là hợp lý.

Tôi đã cố gắng đọc các tài liệu tham khảo chính thức, nhưng tôi không phải là một nhà thống kê cũng như một nhà toán học, vì vậy không có gì được làm rõ.

Bất cứ ai cũng có thể cung cấp một bản tóm tắt cấp cao về thời điểm ước tính có thể được dự kiến là hợp lệ? Nếu bạn biết các tài liệu tham khảo tốt về chủ đề đó cũng sẽ là tuyệt vời.

Chỉnh sửa:

Độ mượt của công cụ ước tính thường được trích dẫn như một yêu cầu để bootstrap hoạt động. Có thể là người ta cũng yêu cầu một số loại không khả thi cục bộ của biến đổi? Bản đồ không đổi rõ ràng không thỏa mãn điều đó.

bootstrap bias

— Đã khởi động
nguồn

2

Công cụ ước tính không đổi là một công cụ ước tính không thiên vị của hằng số đó, do đó, điều tự nhiên là công cụ ước tính bootstrap của độ lệch bằng không.

— Tây An

4

Vấn đề bạn mô tả là một vấn đề về giải thích, không phải là một vấn đề hợp lệ. Ước tính sai lệch bootstrap cho công cụ ước tính không đổi của bạn không hợp lệ, trên thực tế nó hoàn hảo.

Ước tính bootstrap sai lệch là giữa một ước và một tham số nơi là một số phân phối không rõ và một mẫu từ . Hàm là một cái gì đó về nguyên tắc bạn có thể tính toán nếu bạn có dân số trong tay. Một số lần chúng ta lấy các plug-in ước tính của bằng cách sử dụng thực nghiệm phân phối ở vị trí của . Đây có lẽ là những gì bạn mô tả ở trên. Trong mọi trường hợp, ước tính bootstrap của bias là trong đó $\hat\theta = s(x)$ $\theta = t(F),$ $F$ $x$ $F$ $t(F)$ $s(x) = t(\hat F),$ $t(F)$ $\hat F$ $F$

{b i a s}_{\hat{F}} = E_{\hat{F}} [s (x^{*})] - t (\hat{F}),

$\mathrm{bias}_{\hat F} = E_{\hat F}[s(x^*)] - t(\hat F),$

x^{*}

$x^*$ là các mẫu bootstrap từ .

x

$x$

Hằng số là một plug-in hoàn hảo ước tính cho rằng cùng một hằng số: $c$ Dân số là và mẫu , sự phân bố thực nghiệm, trong đó xấp xỉ . Nếu bạn có thể đánh giá , bạn sẽ nhận được . Khi bạn tính toán ước tính trình cắm bạn cũng nhận được . Không thiên vị, như bạn mong đợi. $\sim F$ $\sim \hat F$ $F$ $t(F) = c$ $c$ $t(\hat F) = c$ $c$

Một trường hợp nổi tiếng trong đó có sự sai lệch trong ước tính trình cắm thêm là ước tính phương sai, do đó B hiệu chỉnh. Dưới đây tôi chứng minh điều này. Ước tính sai lệch bootstrap không quá tệ: $t(\hat F)$

library(plyr)

n <- 20
data <- rnorm(n, 0, 1)

variance <- sum((data - mean(data))^2)/n

boots <- raply(1000, {
  data_b <- sample(data, n, replace=T)
  sum((data_b - mean(data_b))^2)/n
})

# estimated bias
mean(boots) - variance 
#> [1] -0.06504726

# true bias:
((n-1)/n)*1 -1
#> [1] -0.05

Thay vào đó, chúng ta có thể lấy là trung bình dân số và , trong trường hợp trong hầu hết các trường hợp nên có sự thiên vị rõ ràng: $t(F)$ $s(x) = c$

library(plyr)

mu <- 3
a_constant <- 1

n <- 20
data <- rnorm(n, mu, 1)

boots <- raply(1000, {
  # not necessary as we will ignore the data, but let's do it on principle
  data_b <- sample(data, n, replace=T)

  a_constant
})

# estimated bias
mean(boots) - mean(data) 
#> [1] -1.964877

# true bias is clearly -2

Một lần nữa, ước tính bootstrap không quá tệ.

— einar
nguồn

Tôi đã thêm câu trả lời này bởi vì các câu trả lời khác dường như được coi là vấn đề mà ước tính bootstrap của độ lệch là 0 khi là hằng số. Tôi không tin đó là.

t

$t$

— einar

Tôi thích câu trả lời của bạn và bản demo của bạn, nhưng tôi không nghĩ định nghĩa của bạn là chính xác "Ước tính sai lệch bootstrap là ước tính độ lệch giữa một hàm của mẫu của bạn và cùng hàm được đánh giá trong dân số." Mặc dù những gì bạn viết được xác định rõ, nếu đây là định nghĩa, sẽ không có cách nào sử dụng bootstrap để ước tính độ lệch của, ví dụ, phương sai mẫu làm công cụ ước tính cho phương sai dân số.

— DavidR

@DavidR Bạn nói đúng, cảm ơn bạn đã bình luận. Tôi đã cập nhật câu trả lời.

— einar

Tôi thích bài viết này rất nhiều! Câu hỏi duy nhất của tôi là về "ước tính bootstrap của bias". Tôi nghĩ những gì bạn đã viết là sự thiên vị thực tế của công cụ ước tính (nhưng đối với phân phối theo kinh nghiệm hơn là phân phối thực sự), vì bạn đang kỳ vọng vào các mẫu bootstrap. Tôi nghĩ rằng công cụ ước tính bootstrap sẽ là một tổng hữu hạn so với các mẫu bootstrap B?

— DavidR

1

@DavidR Tôi rất vui vì bạn làm! Những gì tôi báo cáo về mặt kỹ thuật là ước tính bootstrap về độ lệch (vì bạn sử dụng thay cho và kỳ vọng bootstrap của thay cho kỳ vọng của nó so với ). Nhưng trong hầu hết các ứng dụng thực tế, được và chúng tôi ước tính nó bằng Monte Carlo như bạn nói.

t (\hat{F})

$t(\hat F)$

θ

$\theta$

s ()

$s()$

F

$F$

E_{\hat{F}} [s (x^{*})]

$E_{\hat F}[s(x^*)]$

— einar

3

Bạn mắc một lỗi và có thể đó là lý do khiến nó khó hiểu. Bạn nói:

nếu công cụ ước tính của tôi đơn giản trả về một hằng số độc lập với các quan sát, thì ước tính sai lệch ở trên rõ ràng là không hợp lệ

Bootstrap không phải là về phương pháp của bạn thiên vị bao nhiêu, mà là kết quả của bạn đạt được bởi một số chức năng, do dữ liệu của bạn bị sai lệch.

Nếu bạn chọn phương pháp thống kê phù hợp để phân tích dữ liệu của mình và tất cả các giả định của phương pháp này đều được đáp ứng và bạn đã thực hiện đúng phép toán của mình, thì phương pháp thống kê của bạn sẽ cung cấp cho bạn ước tính "tốt nhất" có thể có được bằng cách sử dụng dữ liệu của bạn .

Ý tưởng của bootstrap là lấy mẫu từ dữ liệu của bạn giống như cách bạn lấy mẫu các trường hợp của mình từ dân cư - vì vậy đây là một dạng sao chép mẫu của bạn. Điều này cho phép bạn có được phân phối gần đúng (sử dụng các từ Efrons) của giá trị của bạn và do đó để khẳng định sai lệch ước tính của bạn.

Tuy nhiên, những gì tôi tranh luận là ví dụ của bạn là sai lệch và vì vậy nó không phải là ví dụ tốt nhất để thảo luận về bootstrap. Vì có những hiểu lầm từ cả hai phía, hãy để tôi cập nhật câu trả lời của mình và viết nó theo cách chính thức hơn để minh họa quan điểm của tôi.

Xu hướng cho là ước tính giá trị thực được định nghĩa là: $\hat{\theta}$ $\theta$

bias ({\hat{θ}}_{n}) = E_{θ} ({\hat{θ}}_{n}) - θ

$\text{bias}(\hat{\theta}_n) = \mathbb{E}_\theta(\hat{\theta}_n) - \theta$

Ở đâu:

{\hat{θ}}_{n} = g (x_{1}, x_{2}, . . ., x_{n})

$\hat{\theta}_n = g(x_1,x_2,...,x_n)$

trong đó là công cụ ước tính. $g(\cdot)$

Như Larry Wasserman ghi chú trong cuốn sách "Tất cả các số liệu thống kê" :

Một yêu cầu hợp lý cho một công cụ ước tính là nó phải hội tụ đến giá trị tham số thực khi chúng ta thu thập ngày càng nhiều dữ liệu. Yêu cầu này được định lượng theo định nghĩa sau:
6.7 Định nghĩa. Một điểm ước lượng của một tham số là phù hợp nếu . $\hat{\theta}_n$ $\theta$ $\hat{\theta}_n \overset{P}{\rightarrow} \theta$

Ước lượng không đổi, là một hàm liên tục của : không không đáp ứng yêu cầu này vì nó không phụ thuộc vào dữ liệu và số lượng ngày càng tăng của các quan sát sẽ không làm cho nó tiếp cận giá trị thực sự (trừ khi do tinh khiết may mắn hoặc có rất chắc chắn một giả định tiên nghiệm trên đó là ). $x$ $g(X) = \lambda$ $\theta$ $\lambda$ $\lambda = \theta$

Công cụ ước tính không đổi không đáp ứng yêu cầu cơ bản để trở thành công cụ ước tính hợp lý và do đó, không thể ước tính sai lệch vì không tiếp cận ngay cả với . Không thể làm điều đó với bootstrap và với bất kỳ phương thức nào khác, vì vậy đó không phải là vấn đề với bootstrap. $\hat{\theta}_n$ $\theta$ $n \rightarrow \infty$

— Tim
nguồn

5

Tôi sợ câu trả lời này dường như định mệnh gieo rắc sự nhầm lẫn. Công cụ ước tính không đổi là một công cụ ước tính theo hầu hết các định nghĩa - và trong một số trường hợp, nó thậm chí còn là một công cụ được chấp nhận. Câu hỏi của bạn giới hạn sự thiên vị lấy mẫu với sai lệch ước tính, điều này chắc chắn sẽ gây nhầm lẫn cho hầu hết tất cả các độc giả. Đoạn văn của bạn về "ước tính tốt nhất có thể" là tốt nhưng nó đặt ra câu hỏi thiết yếu về cách đo lường "tốt nhất". Xu hướng chỉ là một thành phần của điều đó (nếu có).

— whuber

Mặc dù tôi không đủ điều kiện để trả lời OP, tôi sợ Whuber có một điểm. Ngoài ra, nó có hợp lệ để gọi dân số có nghĩa là một người ước tính? Liên quan đến câu cuối cùng, tôi nghĩ boostrap cung cấp một ước tính về độ lệch của công cụ ước tính theo phân tích và không phải là phương pháp lấy mẫu.

— Mugen

Tôi hiểu rằng bootstrapping không thể phát hiện các lỗi hệ thống, nhưng ít nhất trong một số giới hạn, nó được cho là phát hiện sai lệch thống kê. Tôi cho rằng quan điểm của bạn là về sự tinh tế trong việc phân biệt giữa hai người, nhưng điều đó vẫn chưa rõ ràng với tôi. Bạn dường như đang nói về một khái niệm thiên vị mà tôi chưa bao giờ nghe nói - không phải của người ước tính, mà là về dữ liệu. Định nghĩa chính thức của khái niệm thiên vị này là gì?

— Bootstrapping

3

Chắc chắn có một sự hiểu lầm: Tim, bạn không sử dụng "công cụ ước tính" hoặc "thiên vị" theo cách thông thường cho bối cảnh được thiết lập trong câu hỏi này, trong khi Bootstrapping là. Hơn nữa, bạn không chính xác rằng bootstrap có thể phát hiện các lỗi hệ thống và không chính xác khi đánh đồng các lỗi có "sai lệch" trong bối cảnh ước tính. Vẫn còn nhiều lỗi khác nhau trong câu trả lời. Chẳng hạn, độ lệch của một công cụ ước lượng không đổi (bằng, giả sử là ) của một tham số là theo định nghĩa . Vui lòng tham khảo tài liệu tham khảo .

λ

$\lambda$

θ

$\theta$

λ - θ

$\lambda-\theta$

— whuber

8

Thật thú vị khi bạn đưa ra vấn đề về tính nhất quán trong chỉnh sửa của mình. Bạn có thể thấy điều đó thật thú vị - và thậm chí có thể gây ra một chút suy nghĩ - để suy ngẫm về công cụ ước tính bằng được cung cấp và nếu không thì là công cụ ước tính tối đa. Mặc dù điều này là phù hợp, nhưng nó gặp phải vấn đề được chỉ ra bởi OP Vì luồng này liên quan đến các điều kiện đặc trưng sẽ đảm bảo "ước tính bootstrap là hợp lý", có vẻ như trong ví dụ này, tính nhất quán không nằm trong số các điều kiện đó, thậm chí nó không phải là một khái niệm liên quan.

\hat{θ}

$\hat\theta$

0

$0$

n < 10^{100}

$n\lt 10^{100}$

— whuber

3

Tôi nghĩ rằng công thức của bạn là sai. cuối cùng phải có một ngôi sao chứ không phải một chiếc mũ: $t$

{b i a s}_{t} \approx \frac{1}{N} \sum_{i} {\tilde{t}}_{i} - t^{*}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i- t^* \end{equation}$

Bạn muốn sử dụng thống kê thực tế được đánh giá trên phân phối theo kinh nghiệm (điều này thường dễ dàng, vì mẫu ban đầu là một tập hữu hạn), thay vì ước tính. Trong một số trường hợp, chúng có thể giống nhau (ví dụ: trung bình theo kinh nghiệm giống như trung bình mẫu), nhưng chúng sẽ không nói chung. Bạn đã đưa ra một trường hợp chúng khác nhau, nhưng một ví dụ ít bệnh lý hơn là công cụ ước lượng không thiên vị thông thường cho phương sai, không giống với phương sai dân số khi áp dụng cho phân phối hữu hạn.

Nếu thống kê không có ý nghĩa đối với phân phối theo kinh nghiệm (ví dụ: nếu giả định phân phối liên tục), thì bạn không nên sử dụng vanilla bootstrapping. Bạn có thể thay thế phân phối theo kinh nghiệm bằng ước tính mật độ hạt nhân (bootstrap trơn tru) hoặc nếu bạn biết rằng phân phối ban đầu nằm trong một số họ cụ thể, bạn có thể thay thế phân phối theo kinh nghiệm bằng ước tính có khả năng tối đa từ họ đó (bootstrap tham số). $t$

TL / DR: Phương thức bootstrap không phải là phép thuật. Để có được ước tính không thiên vị về độ lệch, bạn cần có thể tính toán chính xác tham số quan tâm trên một phân phối hữu hạn.

— Evan Wright
nguồn

1

Tôi không chắc về ý nghĩa của ký hiệu của bạn. Theo những ghi chú bài giảng của Pete Hall (UC Davis), những bài giảng này của Cosma Shalizi (CMU), và trang này của cuốn sách của Efron và Tibshirani dường như chỉ ra rằng những gì tôi có nó không sai, chỉ là không hoàn toàn chung chung đang sử dụng trình cắm dự toán ở đây, nhưng điều đó là không cần thiết).

— Bootstrapping

Efron và Tibshirani đưa ra công thức giống như tôi, với một ký hiệu khác. Pete Hall dường như đang đưa ra giả định rằng : Trên trang 11, anh ta thay thế (đó là những gì tôi gọi là với mà không cần bình luận. Cuộc thảo luận về pivots của Cosma Shalizi trong phần 2.2 dường như cũng ngầm giả định rằng là giá trị thực tế của trên phân phối theo kinh nghiệm ( ). Tôi nghĩ rằng tất cả sự nhầm lẫn của bạn chỉ là do sự cẩu thả trong các ghi chú bài giảng này.

t^{*} = \hat{t}

$t^* = \hat t$

θ (F_{1})

$\theta(F_1)$

t^{*}

$t^*$

\hat{θ}

$\hat \theta$

\hat{t}

$\hat t$

t

$t$

t^{*}

$t^*$

— Evan Wright

Đủ công bằng, nhưng tôi không nghĩ rằng ký hiệu giải quyết vấn đề hoặc giải quyết câu hỏi. Cụ thể, tôi biết công cụ ước tính không đổi phải bị hỏng (bootstrap không phải là phép thuật). Ví dụ về phương sai hoạt động ngay cả khi chúng ta đưa ra giả định rằng (nghĩa là ước tính sai lệch bootstrap hoạt động). Còn những người ước tính khác cho những thống kê khác thì sao? Điều kiện đủ để ước tính sai lệch bootstrap hoạt động là gì? Làm thế nào để ước lượng liên tục vi phạm các điều kiện này?

t^{*} = \hat{t}

$t^*=\hat t$

— Bootstrapping

1

Đó là quan điểm của tôi: phiên bản cố định này đưa ra câu trả lời đúng ngay cả đối với công cụ ước tính không đổi. Giả sử bạn đang cố ước tính trung bình dân số, nhưng bạn chọn một công cụ ước tính luôn luôn đoán 0. Sau đó, sẽ là giá trị trung bình thực tế của mẫu, thay vì 0. Vì vậy, , ước tính sai lệch đi đến trừ trung bình mẫu, điều này là hợp lý và có giá trị kỳ vọng bằng với độ lệch thực.

t^{*}

$t^*$

N \to \infty

$N \to \infty$

— Evan Wright

Sau đó, có vẻ như tôi không hiểu lắm về định nghĩa của . Định nghĩa trong Efron và Tibshirani (trong trang tôi liên kết đến ở trên) dường như ngụ ý rằng đó là cách cắm ước tính dựa trên phân phối theo kinh nghiệm, nhưng ý nghĩa hoạt động của nó đã thoát khỏi tôi. Nói rằng tôi có một số dữ liệu chiều cao mà tôi muốn phù hợp với một số hàm phi tuyến tính và tôi muốn biết liệu ước tính của tôi về các tham số hàm phi tuyến tính có bị sai lệch hay không. Là gì trong trường hợp này? Định nghĩa của có vẻ rõ ràng đối với tôi, nhưng là mơ hồ.

t^{*}

$t^*$

t^{*}

$t^*$

{\tilde{t}}_{i}

$\tilde t_i$

t^{*}

$t^*$

— Bootstrapping

0

Tôi thấy hữu ích khi nghĩ về các thủ tục bootstrap về các chức năng của các bản phân phối mà chúng hoạt động - Tôi đã đưa ra một ví dụ trong câu trả lời này cho một câu hỏi bootstrap khác.

Ước tính bạn đã đưa ra là những gì nó là - một ước tính. Không ai nói rằng nó không gặp phải vấn đề mà các ước tính thống kê có thể có. Nó sẽ cung cấp cho bạn một ước tính sai lệch khác không cho trung bình mẫu, ví dụ, mà tất cả chúng ta đều biết là không thiên vị để bắt đầu. Một vấn đề với công cụ ước tính sai lệch này là nó bị biến đổi lấy mẫu khi bootstrap được triển khai như Monte Carlo chứ không phải là một phép liệt kê đầy đủ của tất cả các mẫu con có thể (dù sao cũng không phải là bootstrap lý thuyết trong thực tế).

Như vậy, việc triển khai bootstrap của Monte Carlo là không thể thực hiện được và bạn phải sử dụng một sơ đồ bootstrap khác. Davison et. al. (1986) đã trình bày cách tạo một sơ đồ bootstrap khác nhau để hạn chế các lần rút ngẫu nhiên để tạo ra các mẫu cân bằng: nếu bạn tạo các bản sao bootstrap , thì mỗi phần tử ban đầu cần được sử dụng chính xác lần cho cân bằng đơn hàng đầu tiên. (Số dư thứ hai hoạt động tốt hơn cho khoảnh khắc thứ hai của các ước tính, được thảo luận thêm bởi Graham và cộng sự (1990) .) $B$ $B$

— StasK
nguồn

7

Tôi nghĩ rằng câu hỏi ban đầu của Bootstrapping là trực giao với vấn đề biến thiên Monte Carlo. Ngay cả khi chúng ta lấy số lần sao chép bootstrap thành vô cùng, công thức trong câu hỏi sẽ đưa ra ước tính bằng 0 cho độ lệch của công cụ ước lượng không đổi và sẽ đưa ra ước tính khác không cho độ lệch của ước lượng phương sai không thiên vị thông thường.

— Evan Wright