Có một khoảng tin cậy không đối xứng đáng tin cậy cho giá trị trung bình của phân phối lệch?


30

Các bản phân phối rất sai lệch như log-normal không dẫn đến khoảng tin cậy bootstrap chính xác. Dưới đây là một ví dụ cho thấy vùng đuôi bên trái và bên phải cách xa 0,025 lý tưởng cho dù bạn thử phương pháp bootstrap nào trong R:

require(boot)
n    <- 25
B    <- 1000
nsim <- 1000
set.seed(1)
which <- c('basic', 'perc', 'norm', 'bca', 'stud')
mul <- 0; sdl <- 1.65   # on log scale
dist <- c('normal', 'lognormal')[2]
switch(dist, normal    = {g <- function(x) x; mu <- mul},
             lognormal = {g <- exp; mu <- exp(mul + sdl * sdl / 2)})
count <- matrix(0, nrow=length(which), ncol=2,
                dimnames=list(which, c('lower', 'upper')))
stat <- function(x, j) {
## See http://www.psychology.mcmaster.ca/bennett/boot09/percentileT.pdf
  x <- x[j]
  m <- mean(x)
  s <- sd(x)
  n <- length(x)
  sem <- s / sqrt(n)
  m.var <- sem ^ 2
  c(m, m.var)
}
for(i in 1 : nsim) {
  if(i %% 100 == 0) cat(i, '')
  x <- g(rnorm(n, mul, sdl))
  b  <- boot(x, stat, R=B)
  ci <- boot.ci(b, type=which)
  for(w in which) {
    nam <- switch(w, perc='percent', norm='normal', basic='basic',
                  stud='student', bca='bca')
    z <- rev(rev(ci[[nam]])[1:2])
    count[w, 'lower'] <- count[w, 'lower'] + (z[1] > mu)
    count[w, 'upper'] <- count[w, 'upper'] + (z[2] < mu)
  }
}
cat('\n')
count / nsim

Kết quả như sau:

      lower upper
basic 0.000 0.329
perc  0.003 0.257
norm  0.000 0.287
bca   0.015 0.185
stud  0.005 0.129

Với bootstraps đơn vẫn không cung cấp phạm vi bảo hiểm chính xác đầy đủ:n=400

      lower upper
basic 0.001 0.114
perc  0.005 0.093
norm  0.002 0.102
bca   0.017 0.067
stud  0.011 0.058

Khả năng thực nghiệm cũng không cung cấp khoảng tin cậy chính xác khi lấy mẫu từ phân phối logic.

λ

Để khôi phục các mục tiêu, tôi đang tìm kiếm một cách tiếp cận thường áp dụng để có được khoảng tin cậy cho dân số có nghĩa là

  1. khoảng không đối xứng nếu phân phối dữ liệu thô không đối xứng
  2. khoảng có phạm vi bảo hiểm chính xác ở cả hai đuôi (ví dụ: xác suất lỗi 0,025 ở cả hai)
  3. thủ tục không yêu cầu nhà phân tích chỉ định bất cứ điều gì về phân phối cơ bản hoặc chuyển đổi cần thiết để làm cho phân phối đối xứng

tμ=0,σ=1.65n=20000

Tiếp tục suy nghĩ về điều này, có hai cách khái niệm rộng rãi về vấn đề mà tôi muốn thảo luận.

  1. n=201.28×t
  2. Mặc dù không có bootstrap đơn lẻ nào sẽ đưa ra giới hạn độ tin cậy chính xác đầy đủ cho các mẫu từ các bản phân phối cực kỳ sai lệch, bootstrap đôi có thể cải thiện đáng kể độ tin cậy ở cả hai đuôi. Nankervis có một số kết quả tốt và cung cấp một thuật toán tính toán tuyệt vời. Nhưng không có phần mềm nào tôi có thể tìm thấy thực hiện điều này.

Mã R minh họa 1. ở trên:

## Exact CI for median from DescTools package SignTest.default
## See also ttp://www.stat.umn.edu/geyer/old03/5102/notes/rank.pdf,
## http://de.scribd.com/doc/75941305/Confidence-Interval-for-Median-Based-on-Sign-Test
cimed <- function(x, alpha=0.05, na.rm=FALSE) {
  if(na.rm) x <- x[! is.na(x)]
  n <- length(x)
  k <- qbinom(p=alpha / 2, size=n, prob=0.5, lower.tail=TRUE)
  ## Actual CL: 1 - 2 * pbinom(k - 1, size=n, prob=0.5) >= 1 - alpha
  sort(x)[c(k, n - k + 1)]
}

n <- 20
m <- 20000
cil <- cilt <- 0
z <- qt(0.975, n - 1)

for(i in 1 : m) {
  x <- rnorm(n)
  cil  <- cil + diff(cimed(x))
  cilt <- cilt + 2 * z * sqrt(var(x) / n)
}
cil  <- cil / m
cilt <- cilt / m

c(cil, cilt, cilt / cil, cil / cilt)

1
Đây là tính toán chuyên sâu, nhưng nếu bạn lấy cdf theo kinh nghiệm, bắt đầu tạo ngẫu nhiên các cầu Brownian; mỗi cây cầu Brown đại diện cho vùng đồng bằng giữa ecdf và một số cdf giả thuyết. Tính giá trị trung bình bằng cách sử dụng cdf giả thuyết và cân nó theo hệ số được quy định bởi xét nghiệm KS. Lặp lại điều này trong một thời gian, bạn sẽ có một tập hợp dữ liệu có trọng số và có thể tính toán khoảng tin cậy.
Nir Friedman

Tôi không có một cdf giả thuyết. Và điều gì sẽ xảy ra nếu bạn chỉ sử dụng vùng tin cậy 0,95 trên và dưới từ KS và tính giá trị trung bình từ chúng, nghĩa là, điều này sẽ bảo thủ khủng khiếp.
Frank Harrell

Cdf giả thuyết được giới thiệu bằng cách thêm một cây cầu Brown được tạo ngẫu nhiên vào cdf theo kinh nghiệm. Ngoài ra, tôi không đề xuất lấy giá trị trung bình từ vùng tin cậy. Tôi đang đề xuất nhận được nhiều phương tiện bằng cách tạo ra nhiều phân phối giả định, có trọng số phù hợp và sau đó nhận được khoảng tin cậy. Về cơ bản, đây chỉ là một cách tiếp cận khác nhau để bootstrapping, tôi nghĩ rằng kết quả có thể khác.
Nir Friedman

Sẽ rất thú vị khi xem nó có thể được lập trình hiệu quả như thế nào và mức độ bao phủ chính xác của khoảng tin cậy. Cám ơn vì sự gợi ý. Tôi tự hỏi nếu bootstrap Bayes sẽ bắt chước điều đó. Tôi đã thử bootstrap Bayes trong bối cảnh khác và nó không cải thiện phạm vi bảo hiểm khoảng tin cậy.
Frank Harrell

Câu trả lời:


11

Tôi hơi bi quan về một phương pháp không tham số như vậy, ít nhất là không có sự giới thiệu của một số loại ràng buộc trên phân phối cơ bản.

nn

αααnα

Vì vậy, nếu bạn đang tìm kiếm phạm vi bảo hiểm tiệm cận thích hợp , tất nhiên điều này có thể đạt được bằng CLT. Tuy nhiên, câu hỏi của bạn ngụ ý rằng bạn (khá hợp lý) quan tâm đến phạm vi bảo hiểm hữu hạn. Như ví dụ của tôi cho thấy, sẽ luôn có một trường hợp bệnh lý làm hỏng bất kỳ CI có chiều dài hữu hạn.

Bây giờ, bạn vẫn có thể có một CI không tham số đạt được mức độ bao phủ hữu hạn tốt bằng cách thêm các ràng buộc vào phân phối của bạn. Ví dụ, ràng buộc log-lõm là một ràng buộc không tham số. Tuy nhiên, có vẻ như không đủ cho vấn đề của bạn, vì log-normal không phải là log-lõm.

α


2
Suy nghĩ tuyệt vời. Tôi ngần ngại yêu cầu những loại ràng buộc đó bởi vì tôi thấy phân phối lưỡng kim và các phức tạp khác thường đủ.
Frank Harrell

1
@FrankHarrell: đã có công việc được thực hiện với các mô hình hỗn hợp với các thành phần log-lõm không tham số. Tuy nhiên, tôi không thể tưởng tượng được tại thời điểm này rằng có các phương pháp tốt để tạo sự tự tin cho trung bình tổng thể, đặc biệt là nếu số lượng các thành phần không được biết trước.
Vách đá AB

2

Một trong những giả định cơ bản của bất kỳ mẫu nào là tính đại diện. Các đuôi của phân phối càng dài thì càng ít khả năng bất kỳ mẫu nhỏ nào sẽ đủ đại diện cho bất kỳ phương pháp nào để giải quyết một cách đáng tin cậy cho CI vì mẫu sẽ không thể đại diện cho phân phối.

Ví dụ, chạy CI perc đơn giản trên phân phối theo cấp số nhân với cỡ mẫu 250 mang lại kết quả khá ok. Chúng tốt hơn nhiều so với mẫu 25, mặc dù vẫn không lý tưởng.

Tôi đồng ý với Cliff AB rằng sẽ không có giải pháp chung nhưng bạn không cần phải đưa ra giả thuyết phân phối cực đoan. Sẽ không có bất cứ điều gì hoạt động rộng rãi với các mẫu nhỏ. Và trong một số trường hợp, các mẫu có thể phải rất lớn (nhưng sẽ rất tốt nếu sai).

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.