Trong các thử nghiệm ngoại lệ đơn biến (hoặc: Dixon Q so với Grubbs)

Trong (hầu hết) các tài liệu hóa học phân tích, bài kiểm tra tiêu chuẩn để phát hiện các ngoại lệ trong dữ liệu đơn biến (ví dụ: một chuỗi các phép đo của một số tham số) là bài kiểm tra Q của Dixon. Lúc nào cũng vậy, tất cả các thủ tục được liệt kê trong sách giáo khoa đều tính bạn một số lượng từ dữ liệu được so sánh với một giá trị dạng bảng. Bằng tay, đây không phải là một mối quan tâm nhiều; tuy nhiên tôi đang lên kế hoạch viết một chương trình máy tính cho Dixon Q, và chỉ các giá trị bộ nhớ đệm tấn công tôi là không phù hợp. Điều này đưa tôi đến câu hỏi đầu tiên của tôi:

1. Các giá trị bảng cho Dixon Q được tạo như thế nào?

Bây giờ, tôi đã xem xét bài viết này , nhưng tôi cảm thấy rằng đây là một chút gian lận, trong đó tác giả chỉ xây dựng một spline đi qua các giá trị bảng được tạo bởi Dixon. Tôi có cảm giác rằng một hàm đặc biệt (ví dụ hàm lỗi hoặc beta / gamma không hoàn chỉnh) sẽ cần ở đâu đó, nhưng ít nhất tôi có thuật toán cho những thứ đó.

Bây giờ cho câu hỏi thứ hai của tôi: ISO dường như đang từ từ đề xuất thử nghiệm của Grubbs đối với Dixon Q ngày nay, nhưng đánh giá từ sách giáo khoa mà nó vẫn chưa bắt kịp. Mặt khác, điều này tương đối dễ thực hiện vì nó chỉ liên quan đến việc tính toán nghịch đảo CDF của Student t. Bây giờ cho câu hỏi thứ hai của tôi:

1. Tại sao tôi muốn sử dụng Grubbs thay vì Dixon?

Về mặt rõ ràng trong trường hợp của tôi, thuật toán là "gọn gàng" hơn, nhưng tôi nghi ngờ có những lý do sâu xa hơn. Bất cứ ai có thể quan tâm để soi sáng cho tôi?

Thực sự, những cách tiếp cận này đã không được tích cực phát triển trong một thời gian rất dài. Đối với các ngoại lệ đơn biến, bộ lọc tối ưu (hiệu quả nhất) là trung vị +/-$\delta \times$ MAD, hoặc tốt hơn nữa (nếu bạn có quyền truy cập vào R) trung vị +/-$\delta \times$ Qn (vì vậy bạn không cho rằng phân phối cơ bản là đối xứng),

Công cụ ước tính Qn được triển khai trong gói mạnh mẽ.

Xem:

Rousseeuw, PJ và Croux, C. (1993) Các lựa chọn thay thế cho độ lệch tuyệt đối trung bình, Tạp chí của Hiệp hội thống kê Hoa Kỳ * 88 *, 1273-1283.

Trả lời bình luận:

Hai cấp độ.

A) Triết học.

Cả hai bài kiểm tra Dixon và Grub chỉ có thể phát hiện một loại ngoại lệ cụ thể (riêng lẻ, đơn lẻ). Trong 20-30 năm qua, khái niệm về các ngoại lệ có liên quan đến "bất kỳ quan sát nào rời khỏi cơ thể chính của dữ liệu". Nếu không có thêm đặc điểm kỹ thuật của sự khởi hành cụ thể là gì. Cách tiếp cận không có đặc tính này thể hiện ý tưởng xây dựng các thử nghiệm để phát hiện các khoảng trống ngoại lệ. Việc nhấn mạnh đã chuyển sang khái niệm các công cụ ước tính (một ví dụ cổ điển là trung vị) giữ lại các giá trị (nghĩa là không nhạy cảm) ngay cả đối với tỷ lệ ô nhiễm lớn của các công cụ ước tính ngoại lệ - sau đó được cho là mạnh mẽ - và câu hỏi phát hiện ngoại lệ trở thành khoảng trống.

B) Điểm yếu,

Bạn có thể thấy rằng các bài kiểm tra Grub và Dixon dễ dàng bị phá vỡ: người ta có thể dễ dàng tạo ra dữ liệu bị ô nhiễm sẽ vượt qua cả bài kiểm tra như một niềm hạnh phúc (tức là không phá vỡ null). Điều này đặc biệt rõ ràng trong thử nghiệm Grubb, bởi vì các ngoại lệ sẽ phá vỡ giá trị trung bình và sd được sử dụng trong việc xây dựng chỉ số thử nghiệm. Điều đó ít rõ ràng hơn ở Dixon, cho đến khi một người biết rằng số liệu thống kê đơn hàng cũng không mạnh mẽ để vượt trội hơn.

Tôi nghĩ rằng bạn sẽ tìm thấy nhiều lời giải thích hơn về những sự thật này trong các bài báo hướng tới khán giả phi thống kê chung như người được trích dẫn ở trên (tôi cũng có thể nghĩ về bài báo Fast-Mcd của Rousseeuw). Nếu bạn tham khảo bất kỳ cuốn sách / giới thiệu gần đây để phân tích mạnh mẽ, bạn sẽ nhận thấy rằng cả Grubb và Dixon đều không được đề cập.