Cơ sở cho định nghĩa Plot Box và Whisker Plot của một ngoại lệ là gì?

Định nghĩa tiêu chuẩn của một ngoại lệ cho âm mưu Box and Whisker là các điểm nằm ngoài phạm vi , trong đó và là tứ phân vị đầu tiên và là phần tư thứ ba của dữ liệu. I Q R = Q 3 - Q 1 Q 1 Q $\left\{Q1-1.5IQR,Q3+1.5IQR\right\}$$IQR= Q3-Q1$$Q1$$Q3$

Cơ sở cho định nghĩa này là gì? Với số lượng điểm lớn, ngay cả một phân phối hoàn toàn bình thường cũng trả về các ngoại lệ.

Ví dụ: giả sử bạn bắt đầu với chuỗi:

xseq<-seq(1-.5^1/4000,.5^1/4000, by = -.00025)

Trình tự này tạo ra một thứ hạng phần trăm của 4000 điểm dữ liệu.

Kiểm tra tính quy phạm cho qnormloạt bài này cho kết quả:

shapiro.test(qnorm(xseq))

    Shapiro-Wilk normality test

data:  qnorm(xseq)
W = 0.99999, p-value = 1

ad.test(qnorm(xseq))

    Anderson-Darling normality test

data:  qnorm(xseq)
A = 0.00044273, p-value = 1

Kết quả chính xác như mong đợi: tính quy tắc của phân phối bình thường là bình thường. Tạo một qqnorm(qnorm(xseq))tạo (như mong đợi) một dòng dữ liệu:

Nếu một boxplot của cùng một dữ liệu được tạo, boxplot(qnorm(xseq))tạo ra kết quả:

Boxplot, không giống như shapiro.test, ad.testhoặc qqnormxác định một số điểm là ngoại lệ khi kích thước mẫu đủ lớn (như trong ví dụ này).

Boxplots

Đây là một phần có liên quan từ Hoaglin, Mosteller và Tukey (2000): Tìm hiểu phân tích dữ liệu mạnh mẽ và khám phá. Wiley . Chương 3, "So sánh Boxplots và Batch", được viết bởi John D. Emerson và Judith Strenio (từ trang 62):

$F_{L}-\frac{3}{2}d_{F}$$F_{U}+\frac{3}{2}d_{F}$

$F_{L}$$F_{U}$$d_{F}$$F_{U}-F_{L}$

Họ tiếp tục và hiển thị ứng dụng cho dân số Gaussian (trang 63):

$0$$1$$0$$-0.6745$$0.6745$$1.349$$\frac{4}{3}$$\frac{3}{2}$$2.0235$$2$$\pm 2.698$$2\frac{2}{3}$$99.3\%$

Vì thế

$0.7\%$

Hơn nữa, họ viết

[...] Vì vậy, chúng tôi có thể đánh giá liệu dữ liệu của chúng tôi có vẻ nặng hơn so với Gaussian hay không bằng cách có bao nhiêu điểm vượt quá ngưỡng cắt ra. [...]

Họ cung cấp một bảng với tỷ lệ giá trị dự kiến ​​nằm ngoài ngưỡng giới hạn (được dán nhãn "Tổng số%"):

Vì vậy, các điểm cắt này không bao giờ có ý định trở thành một quy tắc nghiêm ngặt về điểm dữ liệu nào là ngoại lệ hay không. Như bạn đã lưu ý, ngay cả một bản phân phối Bình thường hoàn hảo dự kiến ​​sẽ thể hiện "ngoại lệ" trong một khung hình.

Ngoại lệ

Theo như tôi biết, không có định nghĩa được chấp nhận phổ biến về ngoại lệ. Tôi thích định nghĩa của Hawkins (1980):

Một ngoại lệ là một quan sát làm lệch rất nhiều so với các quan sát khác để khơi dậy sự nghi ngờ rằng nó được tạo ra bởi một cơ chế khác.

Tốt nhất, bạn chỉ nên coi các điểm dữ liệu là ngoại lệ một khi bạn hiểu tại sao chúng không thuộc về phần còn lại của dữ liệu. Một quy tắc đơn giản là không đủ. Một điều trị tốt của các ngoại lệ có thể được tìm thấy trong Aggarwal (2013).

Người giới thiệu

Aggarwal CC (2013): Phân tích ngoại lệ. Mùa xuân.
Hawkins D (1980): Xác định các ngoại lệ. Chapman và Hội trường.
Hoaglin, Mosteller và Tukey (2000): Tìm hiểu phân tích dữ liệu mạnh mẽ và khám phá. Wiley.

Từ 'ngoại lệ' thường được coi là một từ như 'một giá trị dữ liệu sai, sai, nhầm hoặc bị hỏng và do đó nên được bỏ qua khỏi phân tích', nhưng đó không phải là ý nghĩa của Tukey khi sử dụng ngoại lệ. Các ngoại lệ chỉ đơn giản là các điểm cách xa trung bình của bộ dữ liệu.

Quan điểm của bạn về việc mong đợi các ngoại lệ trong nhiều bộ dữ liệu là chính xác và quan trọng. Và có rất nhiều câu hỏi và câu trả lời tốt về chủ đề này.

Xóa các ngoại lệ khỏi dữ liệu không đối xứng

Có phù hợp để xác định và loại bỏ các ngoại lệ vì chúng gây ra vấn đề?

Như với tất cả các phương pháp phát hiện ngoại lệ, sự quan tâm và suy nghĩ phải được sử dụng để xác định giá trị nào thực sự là ngoại lệ. Tôi nghĩ rằng boxplot chỉ đơn giản là cung cấp một hình dung tốt về sự lan truyền của dữ liệu và bất kỳ ngoại lệ thực sự nào cũng sẽ dễ dàng bắt được.

Tôi nghĩ bạn nên quan tâm nếu bạn không nhận được một số ngoại lệ như là một phần của phân phối bình thường, nếu không, có lẽ bạn nên tìm kiếm lý do không có. Rõ ràng họ nên được xem xét để đảm bảo rằng họ không ghi lại lỗi, nhưng nếu không thì chúng sẽ được dự kiến.