Bootstrap thiên vị: có ổn không khi tập trung CI xung quanh thống kê quan sát?

Điều này tương tự với Bootstrap: ước tính nằm ngoài khoảng tin cậy

Tôi có một số dữ liệu đại diện cho số lượng kiểu gen trong dân số. Tôi muốn ước tính sự đa dạng di truyền bằng chỉ số của Shannon và cũng tạo ra khoảng tin cậy bằng cách sử dụng bootstrapping. Tuy nhiên, tôi đã nhận thấy rằng ước tính thông qua bootstrapping có xu hướng cực kỳ sai lệch và dẫn đến một khoảng tin cậy nằm ngoài thống kê quan sát của tôi.

Dưới đây là một ví dụ.

# Shannon's index
H <- function(x){
  x <- x/sum(x)
  x <- -x * log(x, exp(1))
  return(sum(x, na.rm = TRUE))
}
# The version for bootstrapping
H.boot <- function(x, i){
  H(tabulate(x[i]))
}

Tạo dữ liệu

set.seed(5000)
X <- rmultinom(1, 100, prob = rep(1, 50))[, 1]

Phép tính

H(X)

## [1] 3.67948

xi <- rep(1:length(X), X)
H.boot(xi)

## [1] 3.67948

library("boot")
types <- c("norm", "perc", "basic")
(boot.out <- boot::boot(xi, statistic = H.boot, R = 1000L))

## 
## CASE RESAMPLING BOOTSTRAP FOR CENSORED DATA
## 
## 
## Call:
## boot::boot(data = xi, statistic = H.boot, R = 1000)
## 
## 
## Bootstrap Statistics :
##     original     bias    std. error
## t1*  3.67948 -0.2456241  0.06363903

Tạo các TCTD với hiệu chỉnh sai lệch

boot.ci(boot.out, type = types)

## BOOTSTRAP CONFIDENCE INTERVAL CALCULATIONS
## Based on 1000 bootstrap replicates
## 
## CALL : 
## boot.ci(boot.out = boot.out, type = types)
## 
## Intervals : 
## Level      Normal              Basic              Percentile     
## 95%   ( 3.800,  4.050 )   ( 3.810,  4.051 )   ( 3.308,  3.549 )  
## Calculations and Intervals on Original Scale

Giả sử rằng phương sai của t có thể được sử dụng cho phương sai của t0 .

norm.ci(t0 = boot.out$t0, var.t0 = var(boot.out$t[, 1]))[-1]

## [1] 3.55475 3.80421

Nó có đúng không khi báo cáo CI tập trung vào khoảng t0 ? Có cách nào tốt hơn để tạo bootstrap không?

$$\theta(\mathbf{p}) = - \sum_{i = 1}^{50} p_i \log p_i,$$ $\mathbf{p} \in \mathbb{R}^{50}$$n$$n = 100$ $$\hat{\theta}_n = \theta(\hat{\mathbf{p}}_n) = - \sum_{i=1}^{50} \hat{p}_{n,i} \log \hat{p}_{n,i}.$$ $\log(50) = 3.912.$$\mathrm{bias}(\hat{\theta}_{100}) \simeq -0.28$$\mathrm{bias}(\hat{\theta}_{500}) \simeq -0.05$$\Delta$$\mathbf{p}$$\mathbf{p}$

$\theta(\mathbf{p}_n^*)$$\mathbf{p}_n^*$$n$$\hat{\mathbf{p}}_n$$\theta(\mathbf{p}_n^*)$$\theta(\mathbf{p}_n^*)$$\theta(\hat{\mathbf{p}}_n)$, dẫn đến khoảng phần trăm là hoàn toàn sai.

Đối với khoảng thời gian cơ bản (và bình thường), vai trò của các lượng tử được thay thế cho nhau. Điều này ngụ ý rằng khoảng thời gian có vẻ hợp lý (nó bao gồm 3.912), mặc dù các khoảng kéo dài ngoài 3.912 không có ý nghĩa logic. Hơn nữa, tôi không biết nếu khoảng cơ bản sẽ có phạm vi bảo hiểm chính xác. Sự biện minh của nó dựa trên danh tính phân phối gần đúng sau:

$$\theta(\mathbf{p}_n^*) - \theta(\hat{\mathbf{p}}_n) \overset{\mathcal{D}}{\simeq} \theta(\hat{\mathbf{p}}_n) - \theta(\mathbf{p}),$$ $n$$n = 100$

$\theta(\hat{\mathbf{p}}_n) \pm 1.96\hat{\mathrm{se}}_n$

$\theta(\mathbf{p})$$\mathbf{p}$$\theta(\mathbf{p})$

Như câu trả lời của @NRH chỉ ra, vấn đề không phải là bootstrapping cho kết quả sai lệch. Đó là ước tính "cắm vào" đơn giản của entropy Shannon, dựa trên dữ liệu từ một mẫu, bị lệch xuống so với giá trị dân số thực.

Vấn đề này đã được công nhận vào những năm 1950, trong vòng một vài năm định nghĩa về chỉ số này. Bài viết này thảo luận về các vấn đề cơ bản, với các tài liệu tham khảo đến văn học liên quan.

$\hat{p}_{n,i}$$p_{n,i}$

$$\hat{\theta}_n = \theta(\hat{\mathbf{p}}_n) = - \sum_{i=1}^{M} \hat{p}_{n,i} \log \hat{p}_{n,i}.$$

mối quan hệ phi tuyến tính có nghĩa là giá trị kết quả là một ước tính sai lệch của sự đa dạng di truyền thực sự.

$M$$N$$(M -1)/2N$

Có các gói trong R giải quyết vấn đề này. Các simbootgói đặc biệt có chức năng estShannonfmà làm cho những điều chỉnh sai lệch, và một hàm sbdivđể tính khoảng tin cậy. Sẽ tốt hơn khi sử dụng các công cụ nguồn mở được thiết lập như vậy cho phân tích của bạn thay vì cố gắng bắt đầu lại từ đầu.