Tôi muốn biết liệu có biến thể boxplot nào phù hợp với dữ liệu phân tán Poisson (hoặc có thể các bản phân phối khác) không?

Với phân phối Gaussian, râu ria được đặt ở L = Q1 - 1,5 IQR và U = Q3 + 1,5 IQR, boxplot có đặc tính sẽ có khoảng nhiều ngoại lệ thấp (điểm dưới L) vì có các ngoại lệ cao (điểm trên U ).

Tuy nhiên, nếu dữ liệu được phân phối Poisson, thì dữ liệu này sẽ không giữ được nữa vì độ lệch dương chúng ta nhận được Pr (X <L) <Pr (X> U) . Có cách nào khác để đặt râu ria sao cho phù hợp với phân phối Poisson không?

Boxplots không được thiết kế để đảm bảo xác suất thấp vượt quá đầu của râu trong mọi trường hợp: chúng được dự định và thường được sử dụng, như là đặc điểm đồ họa đơn giản của phần lớn bộ dữ liệu. Như vậy, chúng vẫn ổn ngay cả khi dữ liệu có các phân phối rất sai lệch (mặc dù chúng có thể không tiết lộ nhiều thông tin như chúng làm về các phân phối gần như không được phân phối).

Khi các ô vuông bị lệch, như với phân phối Poisson, bước tiếp theo là thể hiện lại biến cơ bản (với một biến đổi đơn điệu, tăng dần) và vẽ lại các ô vuông. Bởi vì phương sai của phân phối Poisson tỷ lệ thuận với giá trị trung bình của nó, một phép biến đổi tốt để sử dụng là căn bậc hai.

Mỗi boxplot mô tả 50 iid rút ra từ phân phối Poisson với cường độ nhất định (từ 1 đến 10, với hai thử nghiệm cho mỗi cường độ). Lưu ý rằng độ lệch có xu hướng thấp.

Các dữ liệu tương tự trên thang đo căn bậc hai có xu hướng có các ô vuông đối xứng hơn một chút và (ngoại trừ cường độ thấp nhất) có IQR xấp xỉ bằng nhau bất kể cường độ).

Tóm lại, không thay đổi thuật toán boxplot: thay vào đó thể hiện lại dữ liệu.

Ngẫu nhiên, các cơ hội có liên quan để được tính toán là: cơ hội mà một phương sai bình thường độc lập sẽ vượt quá hàng rào trên (dưới) U ( L ) như ước tính từ n rút ra độc lập từ cùng một phân phối là gì? $X$$U$$L$$n$ Điều này cho thấy thực tế là hàng rào trong boxplot không được tính từ phân phối cơ bản mà được ước tính từ dữ liệu. Trong hầu hết các trường hợp, cơ hội lớn hơn 1%! Chẳng hạn, ở đây (dựa trên 10.000 thử nghiệm Monte-Carlo) là biểu đồ của nhật ký (cơ sở 10) cơ hội cho trường hợp :$n=9$

(Vì phân phối bình thường là đối xứng, biểu đồ này áp dụng cho cả hai hàng rào.) Logarit của 1% / 2 là khoảng .32.3. Rõ ràng, hầu hết thời gian xác suất lớn hơn mức này. Khoảng 16% thời gian nó vượt quá 10%!

Hóa ra (tôi sẽ không làm lộn xộn câu trả lời này với các chi tiết) rằng các phân phối của các cơ hội này có thể so sánh với trường hợp bình thường (đối với nhỏ ) ngay cả đối với các phân phối Poisson cường độ thấp đến 1, khá sai lệch. Sự khác biệt chính là nó thường ít có khả năng tìm thấy một ngoại lệ thấp và nhiều khả năng tìm thấy một ngoại lệ cao.$n$

Có một khái quát về các ô vuông tiêu chuẩn mà tôi biết trong đó độ dài của các râu được điều chỉnh để giải thích cho dữ liệu bị lệch. Các chi tiết được giải thích rõ hơn trong một tờ giấy trắng rất rõ ràng và súc tích (Vandervieren, E., Hubert, M. (2004) "Một boxplot được điều chỉnh cho các bản phân phối lệch", xem tại đây ).

$\verb+R+$$\verb+robustbase::adjbox()+$$\verb+libra+$

Cá nhân tôi thấy nó là một sự thay thế tốt hơn cho việc chuyển đổi dữ liệu (mặc dù nó cũng dựa trên quy tắc đặc biệt, xem giấy trắng).

Tình cờ, tôi thấy tôi có một cái gì đó để thêm vào ví dụ của người ở đây. Đối với phần mở rộng mà chúng ta đang thảo luận về hành vi của râu ria, chúng ta thực sự cũng nên xem xét những gì xảy ra khi xem xét dữ liệu bị ô nhiễm:

library(robustbase)
A0 <- rnorm(100)
A1 <- runif(20, -4.1, -4)
A2 <- runif(20,  4,    4.1)
B1 <- exp(c(A0, A1[1:10], A2[1:10]))
boxplot(sqrt(B1), col="red", main="un-adjusted boxplot of square root of data")
adjbox(      B1,  col="red", main="adjusted boxplot of data")

Trong mô hình ô nhiễm này, B1 về cơ bản có phân phối log-log tiết kiệm cho 20 phần trăm dữ liệu là một nửa ngoại lệ, một nửa ngoại lệ bên phải (điểm phá vỡ của hộp điều chỉnh giống như các ô vuông thông thường, nghĩa là nó giả định rằng hầu hết 25 phần trăm dữ liệu có thể là xấu).

Các biểu đồ mô tả các ô vuông cổ điển của dữ liệu được chuyển đổi (sử dụng chuyển đổi căn bậc hai)

và boxplot điều chỉnh của dữ liệu không biến đổi.

So với các ô vuông được điều chỉnh, tùy chọn trước đây che dấu các ngoại lệ thực và gắn nhãn dữ liệu tốt là các ngoại lệ. Nói chung, nó sẽ cố gắng che giấu bất kỳ bằng chứng nào về sự bất cân xứng trong dữ liệu bằng cách phân loại các điểm vi phạm là ngoại lệ.

Trong ví dụ này, cách tiếp cận sử dụng boxplot tiêu chuẩn trên căn bậc hai của dữ liệu tìm thấy 13 ngoại lệ (tất cả ở bên phải), trong khi boxplot được điều chỉnh tìm thấy 10 ngoại lệ bên phải và 14 bên trái.

EDIT: lô hộp điều chỉnh trong một tóm tắt.

Trong các ô vuông 'cổ điển', râu được đặt tại:

$Q_1$$Q_3$

$Q_1$$Q_3$

Quy tắc này là đặc biệt: biện minh là nếu phần không bị nhiễm của dữ liệu xấp xỉ Gaussian, thì dưới 1% dữ liệu tốt sẽ được phân loại là xấu khi sử dụng quy tắc này.

Một điểm yếu của quy tắc hàng rào này, như được chỉ ra bởi OP, là độ dài của hai râu giống hệt nhau, có nghĩa là quy tắc hàng rào chỉ có ý nghĩa nếu phần không bị nhiễm của dữ liệu có phân phối đối xứng.

Một cách tiếp cận phổ biến là bảo tồn quy tắc hàng rào và điều chỉnh dữ liệu. Ý tưởng là biến đổi dữ liệu bằng cách sử dụng một số biến đổi sai lệch đơn điệu (căn bậc hai hoặc nhật ký hoặc nói chung là biến đổi box-cox). Đây là một cách tiếp cận hơi lộn xộn: nó dựa vào logic vòng tròn (nên chọn phép biến đổi để điều chỉnh độ lệch của phần không bị nhiễm của dữ liệu, ở giai đoạn này là không thể quan sát được) và có xu hướng làm cho dữ liệu khó diễn giải hơn trực quan Ở bất kỳ giá nào, đây vẫn là một thủ tục kỳ lạ, theo đó người ta thay đổi dữ liệu để bảo toàn những gì sau tất cả quy tắc đặc biệt.

Một cách khác là để dữ liệu không bị ảnh hưởng và thay đổi quy tắc râu. Boxplot được điều chỉnh cho phép độ dài của mỗi râu thay đổi tùy theo chỉ số đo độ lệch của phần không bị nhiễm bẩn của dữ liệu:

$Q_1$$\exp(M,\alpha)$$Q_3$$\exp(M,\beta)$

$M$$\alpha$ $\beta$

Đối với các trường hợp khi phần tốt của dữ liệu là đối xứng, $M\approx 0$

$M$$M$$\alpha$$\beta$

$Q_1$$\exp(-4M)$$Q_3$$\exp(3M)$$M\geq 0$

$Q_1$$\exp(-3M)$$Q_3$$\exp(4M)$$M<0$