Sự khác biệt giữa thử nghiệm tính chuẩn của Shapiro-Wilk và thử nghiệm về tính quy phạm Kolmogorov-Smirnov là gì?


Câu trả lời:


23

Bạn thậm chí không thể so sánh cả hai vì Kolmogorov-Smirnov dành cho phân phối hoàn toàn được chỉ định (vì vậy nếu bạn đang kiểm tra tính quy tắc, bạn phải chỉ định giá trị trung bình và phương sai; chúng không thể được ước tính từ dữ liệu *), trong khi Shapiro-Wilk là cho sự bình thường, với trung bình và phương sai không xác định.

* bạn cũng không thể chuẩn hóa bằng cách sử dụng các tham số ước tính và kiểm tra tiêu chuẩn thông thường; Đó thực sự là điều tương tự.

Một cách để so sánh là bổ sung cho Shapiro-Wilk một bài kiểm tra về giá trị trung bình và phương sai xác định trong bình thường (kết hợp các bài kiểm tra theo cách nào đó) hoặc bằng cách điều chỉnh các bảng KS để ước tính tham số (nhưng sau đó nó không còn phân phối nữa -miễn phí).

Có một thử nghiệm như vậy (tương đương với Kolmogorov - Smirnov với các thông số ước tính) - thử nghiệm Lilliefors; phiên bản thử nghiệm thông thường có thể được so sánh hợp lệ với Shapiro-Wilk (và thường sẽ có sức mạnh thấp hơn). Cạnh tranh hơn là thử nghiệm Anderson-Darling (cũng phải được điều chỉnh để ước tính tham số để so sánh là hợp lệ).


Đối với những gì họ kiểm tra - thử nghiệm KS (và Lilliefors) xem xét sự khác biệt lớn nhất giữa CDF theo kinh nghiệm và phân phối được chỉ định, trong khi Shapiro Wilk so sánh hiệu quả hai ước tính về phương sai; Shapiro-Francia có liên quan chặt chẽ có thể được coi là một hàm đơn điệu của mối tương quan bình phương trong một âm mưu QQ; nếu tôi nhớ lại một cách chính xác, Shapiro-Wilk cũng tính đến hiệp phương sai giữa các thống kê đơn hàng.

t30n>60

[Cần lưu ý rằng có nhiều bài kiểm tra về tính quy phạm có sẵn hơn những bài kiểm tra này.]


Đây là một câu trả lời thú vị, nhưng tôi gặp một chút khó khăn để hiểu làm thế nào để bình phương nó với thực tiễn. Có lẽ đây là những câu hỏi khác nhau, nhưng hậu quả của việc bỏ qua ước tính tham số trong thử nghiệm KS là gì? Có phải điều này ngụ ý rằng thử nghiệm của Lillefors có ít năng lượng hơn so với một KS được tiến hành không chính xác, trong đó các thông số được ước tính từ dữ liệu?
russellpierce

@rpierce - Tác động chính của việc xử lý các tham số ước tính như đã biết là làm giảm đáng kể mức ý nghĩa thực tế (và do đó là đường cong sức mạnh) so với mức cần thiết nếu bạn tính đến nó (như Lilliefors thực hiện). Đó là, Lilliefors là KS 'được thực hiện đúng' để ước tính tham số và nó có sức mạnh đáng kể hơn so với KS. Mặt khác, Lilliefors có sức mạnh tồi tệ hơn nhiều so với bài kiểm tra Shapiro-Wilk. Nói tóm lại, KS không phải là một thử nghiệm đặc biệt mạnh mẽ để bắt đầu và chúng tôi làm cho nó tồi tệ hơn bằng cách bỏ qua việc chúng tôi đang thực hiện ước tính tham số.
Glen_b -Reinstate Monica

... Hãy ghi nhớ khi chúng ta nói 'sức mạnh tốt hơn' và 'sức mạnh tồi tệ hơn' mà chúng ta thường đề cập đến sức mạnh chống lại những gì mọi người thường coi là những lựa chọn thay thế thú vị.
Glen_b -Reinstate Monica

1
Tôi đã nhìn thấy một đường cong sức mạnh, tôi chỉ không nghĩ đến việc hạ thấp hay nâng cao nó có nghĩa gì và thay vào đó, thần bị mắc kẹt về nhận xét thứ hai của bạn bắt đầu: "hãy ghi nhớ". Bằng cách nào đó tôi đã vặn vẹo xung quanh và nghĩ rằng bạn đang nói rằng 'sức mạnh' tốt hơn có nghĩa là có đường cong sức mạnh mà nó phải 'tồn tại'. Rằng có lẽ chúng tôi đã gian lận và nhận được sức mạnh phi thực tế trong KS vì chúng tôi đã trao cho nó các tham số đáng lẽ phải bị phạt vì ước tính (vì đó là hậu quả của việc tôi không thừa nhận rằng một tham số xuất phát từ ước tính) .
russellpierce

1
Không chắc chắn làm thế nào tôi bỏ lỡ những nhận xét này trước đây, nhưng vâng, tính giá trị p từ việc sử dụng kiểm tra KS với các tham số ước tính như thể chúng được biết / chỉ định sẽ có xu hướng quá cao. Hãy thử trong R: hist(replicate(1000,ks.test(scale(rnorm(x)),pnorm)$p.value))- nếu giá trị p đúng như mong muốn, thì nó sẽ trông đồng nhất!
Glen_b -Reinstate Monica

24

Nói ngắn gọn, thử nghiệm Shapiro-Wilk là một thử nghiệm cụ thể về tính quy phạm, trong khi phương pháp được sử dụng bởi thử nghiệm Kolmogorov-Smirnov thì tổng quát hơn, nhưng ít mạnh mẽ hơn (có nghĩa là nó bác bỏ chính xác giả thuyết null về tính quy phạm ít thường xuyên hơn). Cả hai số liệu thống kê đều lấy tính quy tắc là null và thiết lập một thống kê kiểm tra dựa trên mẫu, nhưng cách chúng làm như vậy khác với nhau theo cách làm cho chúng ít nhiều nhạy cảm hơn với các tính năng của phân phối bình thường.

Cách tính chính xác W (thống kê kiểm tra cho Shapiro-Wilk) có liên quan một chút , nhưng về mặt khái niệm, nó liên quan đến việc sắp xếp các giá trị mẫu theo kích thước và đo lường phù hợp với các phương tiện, phương sai và hiệp phương dự kiến. Theo tôi hiểu, nhiều so sánh này so với tính quy tắc, mang lại cho bài kiểm tra nhiều sức mạnh hơn bài kiểm tra Kolmogorov - Smirnov, đây là một cách mà chúng có thể khác nhau.

Ngược lại, thử nghiệm Kolmogorov - Smirnov về tính quy phạm bắt nguồn từ cách tiếp cận chung để đánh giá mức độ phù hợp bằng cách so sánh phân phối tích lũy dự kiến ​​so với phân phối tích lũy theo kinh nghiệm, vis:

văn bản thay thế

Như vậy, nó nhạy cảm ở trung tâm của phân phối, và không phải là đuôi. Tuy nhiên, KS là phép thử hội tụ, theo nghĩa là n có xu hướng vô cùng, thử nghiệm hội tụ đến câu trả lời đúng trong xác suất (tôi tin rằng Định lý Glivenko-Cantelli áp dụng ở đây, nhưng ai đó có thể sửa cho tôi). Đây là hai cách nữa trong đó hai bài kiểm tra này có thể khác nhau trong đánh giá tính quy phạm của chúng.


3
Bên cạnh đó ... Thử nghiệm của Shapiro-Wilk thường được sử dụng khi ước tính số lần khởi hành từ tính quy tắc trong các mẫu nhỏ. Câu trả lời tuyệt vời, John! Cảm ơn.
aL3xa

+1, hai lưu ý khác về KS: nó có thể được sử dụng để kiểm tra đối với bất kỳ phân phối chính nào (trong khi SW chỉ dành cho tính quy tắc), và công suất thấp hơn có thể là một điều tốt với các mẫu lớn hơn.
gung - Phục hồi Monica

Làm thế nào là sức mạnh thấp hơn là một điều tốt? Chừng nào Loại I vẫn như cũ thì sức mạnh không phải lúc nào cũng tốt hơn? Hơn nữa, KS thường không mạnh hơn, chỉ có thể là bệnh leptokurtosis? Ví dụ, KS mạnh hơn nhiều đối với độ lệch mà không tăng lỗi Loại 1 tương xứng.
Giăng

Kolmogorov-Smirnov dành cho phân phối được chỉ định đầy đủ. Shapiro Wilk thì không. Chúng không thể được so sánh ... bởi vì ngay khi bạn thực hiện các điều chỉnh cần thiết để làm cho chúng có thể so sánh được, bạn không còn có một hoặc thử nghiệm khác .
Glen_b -Reinstate Monica

Tìm thấy nghiên cứu mô phỏng này, trong trường hợp có thêm bất cứ điều gì hữu ích trong cách chi tiết. Kết luận chung giống như trên: thử nghiệm Shapiro-Wilk nhạy hơn. ukm.my/jsm/pdf_files/SM-PDF-40-6-2011/15%20NorAishah.pdf
Nick Stauner
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.