Tính bình thường tiệm cận của thống kê đơn hàng phân phối đuôi nặng

Bối cảnh: Tôi có một mẫu mà tôi muốn lập mô hình với phân phối đuôi nặng. Tôi có một số giá trị cực đoan, sao cho sự lan truyền của các quan sát là tương đối lớn. Ý tưởng của tôi là mô hình hóa điều này với phân phối Pareto tổng quát, và vì vậy tôi đã thực hiện. Bây giờ, định lượng 0,975 của dữ liệu thực nghiệm của tôi (khoảng 100 điểm dữ liệu) thấp hơn định lượng 0,975 của phân phối Pareto tổng quát mà tôi đã trang bị cho dữ liệu của mình. Bây giờ, tôi nghĩ, có cách nào để kiểm tra xem sự khác biệt này có phải là điều đáng lo ngại không?

Chúng ta biết rằng sự phân bố tiệm cận của các lượng tử được đưa ra là:

Vì vậy, tôi nghĩ rằng sẽ là một ý tưởng tốt để giải trí cho sự tò mò của mình bằng cách thử vẽ các dải tin cậy 95% xung quanh định lượng 0,975 của phân phối Pareto tổng quát với các tham số giống như tôi nhận được từ việc khớp dữ liệu của mình.

Như bạn thấy, chúng tôi đang làm việc với một số giá trị cực đoan ở đây. Và vì mức chênh lệch rất lớn, hàm mật độ có các giá trị cực kỳ nhỏ, làm cho các dải tin cậy đi theo thứ tự bằng cách sử dụng phương sai của công thức quy tắc tiệm cận ở trên:$\pm 10^{12}$

$\pm 1.96\frac{0.975*0.025}{n({f_{GPD}(q_{0.975})})^2}$

Vì vậy, điều này không có ý nghĩa gì. Tôi có một phân phối chỉ có kết quả tích cực và khoảng tin cậy bao gồm các giá trị âm. Vì vậy, một cái gì đó đang xảy ra ở đây. Nếu tôi tính toán băng xung quanh 0,5 quantile, các ban nhạc không phải là rất lớn, nhưng vẫn còn rất lớn.

Tôi tiến hành để xem điều này diễn ra như thế nào với phân phối khác, cụ thể là phân phối . Mô phỏng quan sát từ phân phối và kiểm tra xem các lượng tử có nằm trong dải tin cậy hay không. Tôi làm điều này 10000 lần để xem tỷ lệ của các lượng tử 0,975 / 0,5 của các quan sát mô phỏng nằm trong các dải tin cậy.$\mathcal{N}(1,1)$$n=100$$\mathcal{N}(1,1)$

    ################################################
# Test at the 0.975 quantile
################################################

#normal(1,1)

#find 0.975 quantile
q_norm<-qnorm(0.975, mean=1, sd=1)
#find density value at 97.5 quantile:
f_norm<-dnorm(q_norm, mean=1, sd=1)
#confidence bands absolute value:
band=1.96*sqrt((0.975*0.025)/(100*(f_norm)^2))
u=q_norm+band
l=q_norm-band

hit<-1:10000
for(i in 1:10000){
  d<-rnorm(n=100, mean=1, sd=1)
  dq<-quantile(d, probs=0.975)

  if(dq[[1]]>=l & dq[[1]]<=u) {hit[i]=1} else {hit[i]=0} 

}
sum(hit)/10000

#################################################################3
# Test at the 0.5 quantile  
#################################################################
#using lower quantile:

#normal(1,1)

#find 0.7 quantile
q_norm<-qnorm(0.7, mean=1, sd=1)
#find density value at 0.7 quantile:
f_norm<-dnorm(q_norm, mean=1, sd=1)
#confidence bands absolute value:
band=1.96*sqrt((0.7*0.3)/(100*(f_norm)^2))
u=q_norm+band
l=q_norm-band

hit<-1:10000
for(i in 1:10000){
  d<-rnorm(n=100, mean=1, sd=1)
  dq<-quantile(d, probs=0.7)

  if(dq[[1]]>=l & dq[[1]]<=u) {hit[i]=1} else {hit[i]=0} 

} 
sum(hit)/10000

EDIT : Tôi đã sửa mã và cả hai lượng tử cho khoảng 95% lần truy cập với n = 100 và với . Nếu tôi tăng độ lệch chuẩn thành , thì rất ít lượt truy cập nằm trong các dải. Vì vậy, câu hỏi vẫn còn.$\sigma=1$$\sigma=2$

EDIT2 : Tôi rút lại những gì tôi đã tuyên bố trong EDIT đầu tiên ở trên, như được chỉ ra trong các bình luận của một quý ông hữu ích. Có vẻ như những CI này tốt cho phân phối bình thường.

Đây có phải là sự bình thường tiệm cận của thống kê đơn hàng chỉ là một biện pháp rất tệ để sử dụng, nếu người ta muốn kiểm tra xem một số lượng tử quan sát được có thể được cung cấp cho một phân phối ứng cử viên nhất định không?

Theo trực giác, dường như có một mối quan hệ giữa phương sai của phân phối (mà người ta nghĩ đã tạo ra dữ liệu, hoặc trong ví dụ R của tôi, mà chúng ta biết đã tạo ra dữ liệu) và số lượng quan sát. Nếu bạn có 1000 quan sát và phương sai rất lớn, các dải này rất tệ. Nếu một người có 1000 quan sát và phương sai nhỏ, các dải này có thể có ý nghĩa.

Bất cứ ai quan tâm để làm rõ điều này cho tôi?

Tôi cho rằng sự phát sinh của bạn đến từ một cái gì đó giống như trên trang này .

Tôi có một phân phối chỉ có kết quả tích cực và khoảng tin cậy bao gồm các giá trị âm.

Vâng, đưa ra các xấp xỉ bình thường có ý nghĩa. Không có gì ngăn cản một xấp xỉ bình thường từ việc cung cấp cho bạn các giá trị âm, đó là lý do tại sao đó là một xấp xỉ xấu cho một giá trị giới hạn khi kích thước mẫu nhỏ và / hoặc phương sai lớn. Nếu bạn tăng kích thước mẫu, thì các khoảng sẽ co lại vì kích thước mẫu nằm trong mẫu số của biểu thức cho chiều rộng của khoảng. Phương sai đi vào vấn đề thông qua mật độ: với cùng một giá trị, phương sai cao hơn sẽ có mật độ khác nhau, cao hơn ở lề và thấp hơn gần trung tâm. Mật độ thấp hơn có nghĩa là khoảng tin cậy rộng hơn vì mật độ nằm trong mẫu số của biểu thức.

Một chút googling đã tìm thấy trang này , trong số những trang khác, sử dụng phép tính gần đúng bình thường cho phân phối nhị thức để xây dựng các giới hạn độ tin cậy. Ý tưởng cơ bản là mỗi quan sát rơi xuống dưới lượng tử với xác suất q , do đó phân phối là nhị thức. Khi cỡ mẫu đủ lớn (điều đó quan trọng), phân phối nhị thức được xấp xỉ bằng phân phối chuẩn với trung bình và phương sai . Vì vậy, giới hạn tin cậy thấp hơn sẽ có chỉ số và giới hạn tin cậy trên sẽ có chỉ số . Có khả năng là hoặc$nq$$nq(1-q)$$j = nq - 1.96 \sqrt{nq(1-q)}$$k = nq - 1.96 \sqrt{nq(1-q)}$$k > n$$j < 1$ khi làm việc với các lượng tử gần rìa và tham chiếu tôi tìm thấy là im lặng về điều đó. Tôi đã chọn chỉ coi tối đa hoặc tối thiểu là giá trị liên quan.

Trong lần viết lại mã sau đây, tôi đã xây dựng giới hạn tin cậy đối với dữ liệu thực nghiệm và được kiểm tra xem liệu lượng tử lý thuyết có nằm trong đó không. Điều đó có ý nghĩa hơn với tôi, bởi vì lượng tử của tập dữ liệu được quan sát là biến ngẫu nhiên. Phạm vi bảo hiểm cho n> 1000 là ~ 0,95. Với n = 100, nó tệ hơn ở mức 0,85, nhưng điều đó được dự đoán cho các lượng tử gần đuôi có kích thước mẫu nhỏ.

#find 0.975 quantile
q <- 0.975
q_norm <- qnorm(q, mean=1, sd=1)

#confidence bands absolute value (note depends on sample size)
n <- 10000
band <- 1.96 * sqrt(n * q * (1 - q))

hit<-1:10000
for(i in 1:10000){
  d<-sort(rnorm(n, mean=1, sd=1))
  dq<-quantile(d, probs=q)
  u <- ceiling(n * q + band)
  l <- ceiling(n * q - band)
  if (u > n) u = n
  if (l < 1) l = 1
  if(q_norm>=d[l] & q_norm<=d[u]) {hit[i]=1} else {hit[i]=0} 

}
sum(hit)/10000

Theo như xác định cỡ mẫu nào là "đủ lớn", tốt hơn, lớn hơn là tốt hơn. Cho dù bất kỳ mẫu cụ thể nào là "đủ lớn" đều phụ thuộc mạnh mẽ vào vấn đề trong tay và mức độ phức tạp của bạn đối với những thứ như phạm vi bảo hiểm giới hạn tự tin của bạn.