Bạn có thể sử dụng thử nghiệm Kolmogorov-Smirnov để kiểm tra trực tiếp sự tương đương của hai bản phân phối không?


8

Đã có cuộc nói chuyện về các câu hỏi khác về cách người ta có thể sử dụng phương pháp Thử nghiệm hai mặt (TOST) cho thử nghiệm Kolmogorov-Smirnov (KS), nhưng tôi đã tự hỏi liệu có thể sử dụng trực tiếp thống kê thử nghiệm để chỉ ra rằng hai phân phối có giống nhau không?

Theo tôi hiểu, thống kê kiểm tra KS đại diện cho sự khác biệt lớn nhất giữa hai CDF, với phiên bản một mẫu được sử dụng ban đầu như một thử nghiệm về độ phù hợp. Điều này được thể hiện trong [1] khi phân phối theo kinh nghiệm vượt ra ngoài khoảng tin cậy (tức là bất kỳ một điểm nào quá xa so với phân phối giả thuyết mà họ đang kiểm tra).

Nếu phiên bản hai mẫu thường được sử dụng để chỉ ra rằng hai bản phân phối khác nhau đáng kể so với phiên bản một mẫu, thì theo cách tương tự với phiên bản một mẫu, chúng ta có thể đảo ngược cách tính khoảng tin cậy khi sử dụng để thay vào đó sử dụng , như một cách thể hiện rằng sự khác biệt tối đa giữa hai bản phân phối là tương tự nhau?(1α)=0.05(1α)=0.95

[1] Massey, F. "Bài kiểm tra Kolmogorov-Smirnov về mức độ phù hợp", Tạp chí của Hiệp hội Thống kê Hoa Kỳ , tập. 46, không 253, trang 68-78, tháng 3 năm 1951

Câu trả lời:


3

Khi tiến hành thử nghiệm Kolmogorov-Smirnov, chúng tôi giả sử hai bản phân phối là tương đương. Sau đó, chúng tôi tính toán một thống kê kiểm tra và, nếu giá trị tương ứng đủ nhỏ, chúng tôi từ chối và kết luận hai phân phối là khác nhau.H0:pH0HA:

Theo như các thử nghiệm giả thuyết, chúng tôi sử dụng giá trị để định lượng lượng bằng chứng mà chúng tôi phải từ chối giả thuyết khống. Giá trị của 1 chỉ ra rằng chúng tôi đã thu thập được bằng chứng để bác bỏ giả thuyết khống. Giá trị gần bằng 0 cho thấy có bằng chứng áp đảo để bác bỏ giả thuyết khống.ppp

Giả sử chúng ta có dữ liệu và tính giá trị từ kiểm tra KS trong đó Điều này cho thấy có rất ít bằng chứng để bác bỏ giả thuyết khống. Tuy nhiên, chúng tôi không thể thiết lập một tiêu chuẩn sao cho ngụ ý rằng chúng tôi kết luận giả thuyết null là đúng. Hơn nữa, tôi không tin có một thử nghiệm thay thế cho phép chúng tôi kết luận rằng hai bản phân phối là như nhau.pp=0.99.α=0.95p>α

Những gì tôi tin rằng bạn có thể làm là hoàn toàn trung thực trong bài viết hoặc thảo luận. Đề cập rằng bạn đã chạy thử nghiệm KS, báo cáo giá trị và nếu giá trị đủ cao, thì hãy xác định rằng có rất ít bằng chứng cho thấy hai phân phối khác nhau. Vì vậy, trong khi bạn không thể kết luận rằng các bản phân phối là giống hệt nhau, bạn nên có thể lưu ý rằng không có bằng chứng nào cho thấy hai bản phân phối là khác nhau. Khi kích thước mẫu của bạn tăng lên, bạn sẽ càng có nhiều niềm tin vào câu trả lời này.ppn

Đó không hoàn toàn là câu trả lời mà bạn có thể đang tìm kiếm, nhưng nó cũng không phải là một sự rửa sạch. Hi vọng điêu nay co ich!


(1/2) Tôi nhận được rằng chúng ta không thể chỉ sử dụng giá trị ap> 0,98 .. v.v. - điều tôi băn khoăn là, nếu thử nghiệm KS thực sự đo khoảng cách tối đa giữa hai bản phân phối, thì cảm giác giống như nó ở một vị trí duy nhất để thực hiện kiểm tra tương đương trực tiếp. Chẳng hạn, nếu thống kê kiểm tra D = 0 thì chắc chắn hai bản phân phối phải giống nhau? Và nếu đó là trường hợp, còn D <0,0001 thì sao? Cảm giác như cần phải có một điểm quan trọng (như khi p vượt qua 0,05), trong đó chúng ta không còn có thể chắc chắn rằng chúng có cùng phân phối hay không và
jamesyjamesjames

(2/2) ... vì vậy có thể lật nó lên đầu và sử dụng 0 <D <0,05 (ví dụ) để nói rằng hai bản phân phối tương tự nhau.
jamesyjamesjames

1
Ngay cả khi , chúng ta không thể kết luận rằng các bản phân phối là giống hệt nhau. Chúng tôi chỉ có thể kết luận rằng mẫu của chúng tôi không cung cấp cho chúng tôi bằng chứng chống lại tuyên bố rằng hai bản phân phối là như nhau. Có lẽ mẫu của chúng tôi đơn thuần không bao gồm các quan sát cho thấy sự khác biệt trong phân phối. Điều này giống như tất cả các bài kiểm tra giả thuyết - một thống kê kiểm tra tương ứng với giá trị là 1 không cung cấp bằng chứng chống lại giả thuyết null nhưng không thể chứng minh chắc chắn rằng giả thuyết null là đúng. Thực tế mà nói, khi tăng lên, bạn có thể trở nên tự tin hơn rằng ...D=0pn
Matt Brems

1
... phân phối là giống hệt nhau nhưng bạn không thể kết luận thiết lập thực tế này.
Matt Brems

2
Tất nhiên rồi - vì đó là ECDF. Vâng, điều đó có ý nghĩa.
jamesyjamesjames
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.