Các xét nghiệm quy phạm không nhất quán: Kolmogorov-Smirnov vs Shapiro-Wilk

Tôi hiện đang xem xét một số dữ liệu được tạo ra bởi một mô phỏng MC mà tôi đã viết - tôi hy vọng các giá trị sẽ được phân phối bình thường. Tự nhiên tôi vẽ một biểu đồ và nó có vẻ hợp lý (tôi đoán vậy?):

[Trên cùng bên trái: biểu đồ với dist.pdf(), trên cùng bên phải: biểu đồ tích lũy với dist.cdf(), dưới cùng: QQ-cốt truyện, datavs dist]

Sau đó, tôi quyết định xem xét sâu hơn về vấn đề này với một số bài kiểm tra thống kê. (Lưu ý rằng dist = stats.norm(loc=np.mean(data), scale=np.std(data)).) Những gì tôi đã làm và đầu ra tôi nhận được là như sau:

1. Xét nghiệm Kolmogorov-Smirnov:

   scipy.stats.kstest(data, 'norm', args=(data_avg, data_sig))
   KstestResult(statistic=0.050096921447209564, pvalue=0.20206939857573536)
   

2. Thử nghiệm Shapiro-Wilk:

   scipy.stats.shapiro(dat)
   (0.9810476899147034, 1.3054057490080595e-05)
   # where the first value is the test statistic and the second one is the p-value.
   

3. QQ-cốt truyện:

   stats.probplot(dat, dist=dist)

Kết luận của tôi từ đây sẽ là:

• bằng cách nhìn vào biểu đồ và biểu đồ tích lũy, tôi chắc chắn sẽ giả sử một phân phối bình thường

• giữ nguyên sau khi nhìn vào cốt truyện QQ (nó có bao giờ tốt hơn nhiều không?)

• kiểm tra KS cho biết: 'có, đây là phân phối bình thường'

Sự nhầm lẫn của tôi là: thử nghiệm SW nói rằng nó không được phân phối bình thường (giá trị p nhỏ hơn nhiều so với ý nghĩa alpha=0.05và giả thuyết ban đầu là phân phối bình thường). Tôi không hiểu điều này, có ai có một giải thích tốt hơn? Tôi đã vặn vít ở một số điểm?

Có vô số cách phân phối có thể khác với phân phối bình thường. Không có thử nghiệm có thể nắm bắt tất cả chúng. Kết quả là, mỗi thử nghiệm khác nhau về cách kiểm tra xem phân phối của bạn có khớp với bình thường không. Ví dụ, kiểm tra KS xem xét lượng tử trong đó hàm phân phối tích lũy theo kinh nghiệm của bạn khác tối đa với hàm phân phối tích lũy lý thuyết thông thường. Đây thường là một nơi nào đó ở giữa bản phân phối, không phải là nơi chúng ta thường quan tâm đến sự không phù hợp. Kiểm tra SW tập trung vào các đuôi, đó là nơi chúng ta thường quan tâm nếu các bản phân phối tương tự nhau. Do đó, SW thường được ưa thích. Ngoài ra, kiểm tra KW không hợp lệ nếu bạn đang sử dụng các tham số phân phối được ước tính từ mẫu của bạn (xem:Sự khác biệt giữa thử nghiệm tính chuẩn của Shapiro-Wilk và thử nghiệm tính chuẩn của Kolmogorov-Smirnov là gì? ). Bạn nên sử dụng SW ở đây.

Nhưng các lô thường được khuyến nghị và các thử nghiệm thì không (xem: Kiểm tra tính quy phạm 'về cơ bản là vô dụng'? ). Bạn có thể thấy từ tất cả các lô của bạn rằng bạn có một cái đuôi bên phải nặng và một cái đuôi bên trái nhẹ so với một người bình thường thực sự. Đó là, bạn có một chút sai lệch.

Bạn không thể chọn các bài kiểm tra tính bình thường dựa trên kết quả. Trong trường hợp này, bạn có thể từ chối trong bất kỳ thử nghiệm nào được thực hiện hoặc hoàn toàn không sử dụng chúng. Kiểm tra KS không mạnh lắm, đây không phải là kiểm tra tính quy phạm "chuyên biệt". Nếu bất cứ điều gì SW có lẽ đáng tin cậy hơn trong trường hợp này.

Đối với tôi, cốt truyện QQ của bạn có dấu hiệu của đuôi phải béo hoặc lệch sang trái hoặc cả hai. Tôi sẽ đề nghị sử dụng công cụ của Tukey để nghiên cứu độ béo của đuôi. Nó sẽ cung cấp cho bạn một dấu hiệu phân phối giống như bình thường hoặc Cauchy.