Tôi có thể sử dụng kiểm tra và ước tính các tham số phân phối Kolmogorov-Smirnov không?

Tôi đã đọc rằng không nên sử dụng thử nghiệm Kolmogorov-Smirnov để kiểm tra mức độ phù hợp của phân phối có tham số được ước tính từ mẫu.

Có ý nghĩa để chia mẫu của tôi thành hai và sử dụng nửa đầu để ước tính tham số và mẫu thứ hai cho kiểm tra KS?

Cảm ơn trước

estimation fitting kolmogorov-smirnov

— sắp xếp
nguồn

Phân phối nào bạn muốn kiểm tra chống lại & tại sao?

— gung - Phục hồi Monica

Tôi nghi ngờ dữ liệu sau một phân phối theo cấp số nhân.

— sortega

Câu trả lời:

Cách tiếp cận tốt hơn là tính toán giá trị quan trọng của giá trị p bằng mô phỏng. Vấn đề là khi bạn ước tính các tham số từ dữ liệu thay vì sử dụng các giá trị giả định thì phân phối của thống kê KS không tuân theo phân phối null.

Thay vào đó, bạn có thể bỏ qua các giá trị p từ kiểm tra KS và thay vào đó mô phỏng một loạt các bộ dữ liệu từ phân phối ứng viên (với một bộ thông số có ý nghĩa) có cùng kích thước với dữ liệu thực của bạn. Sau đó, cho mỗi bộ ước tính các tham số và thực hiện kiểm tra KS bằng cách sử dụng các tham số ước tính. Giá trị p của bạn sẽ là tỷ lệ thống kê kiểm tra từ các bộ mô phỏng có tính ngoại lệ hơn so với dữ liệu gốc của bạn.

— Greg tuyết
nguồn

Tôi tìm thấy giải pháp hơi khó hiểu (ít nhất là đối với tôi); bạn có ý nghĩa gì bởi "một bộ thông số có ý nghĩa" cho phân phối ứng viên? Ban đầu, bạn không biết các tham số của phân phối ứng viên, làm thế nào bạn biết "tập hợp tham số có ý nghĩa" là gì?

— Néstor

Bạn có thể thử các bộ thông số khác nhau để xem nó có tạo ra sự khác biệt hay không (đối với thông thường thì không, nhưng một số bản phân phối có thể). Sau đó suy nghĩ về khoa học đằng sau dữ liệu của bạn, hoặc nói chuyện với một chuyên gia trong khu vực, bạn sẽ có thể có được một ý tưởng chung bắt đầu từ đâu, ví dụ tôi biết ý tưởng về chiều cao trung bình của nam giới trưởng thành ở Nigeria, nhưng tôi khá chắc chắn rằng nó là tích cực và ít hơn 3 mét.

— Greg Snow

@GregSnow Tôi đã xem qua bài đăng này vì nó có liên quan đến công việc hiện tại của tôi. Tôi đã tự hỏi nếu có bất kỳ biện minh lý thuyết cho phương pháp bạn đề nghị? Đó là, làm thế nào để chúng ta biết rằng "giá trị p" được đề xuất thực sự được phân phối đồng đều từ 0 đến 1? Giá trị p được đề xuất không nto dường như là giá trị p thông thường vì giả thuyết Null hiện là một tập hợp các phân phối

— renrenthehamster

@renrenthehamster, bạn có một điểm tốt, đó là lý do tại sao tôi đề nghị mô phỏng trong các điều kiện khác nhau. Đối với một số bản phân phối (tôi mong đợi mức bình thường) sẽ không có vấn đề gì nhiều, nhưng một số khác có thể yêu cầu các mức giới hạn khác nhau cho các giá trị tham số thực khác nhau. Nếu đó là trường hợp thì người dùng (bạn) cần tìm một null có ý nghĩa để kiểm tra bao gồm cả hình dạng của phân phối và một tập hợp hoặc một loạt các tham số mà bạn cảm thấy thoải mái.

— Greg Snow

@LilyLong, mô phỏng trước đây khó khăn và tốn thời gian hơn nhiều, vì vậy các thử nghiệm được phát triển nhanh hơn / dễ dàng hơn mô phỏng, một số bảng đầu tiên được tạo ra bằng mô phỏng. Nhiều thử nghiệm bây giờ có thể dễ dàng được thay thế bằng mô phỏng, nhưng có lẽ sẽ ở với chúng tôi lâu hơn do truyền thống và đơn giản.

— Greg Snow

Việc tách mẫu có thể làm giảm vấn đề với việc phân phối số liệu thống kê, nhưng nó không loại bỏ nó.

Ý tưởng của bạn tránh được vấn đề rằng các ước tính sẽ 'quá gần' so với các giá trị dân số vì chúng dựa trên cùng một mẫu.

Bạn không tránh khỏi vấn đề mà họ vẫn ước tính. Phân phối của thống kê kiểm tra không phải là bảng.

Trong trường hợp này, nó làm tăng tỷ lệ loại bỏ dưới giá trị null, thay vì giảm đáng kể.

Một lựa chọn tốt hơn là sử dụng thử nghiệm trong đó các tham số không được giả định đã biết, chẳng hạn như Shapiro Wilk.

Nếu bạn đã kết hôn với loại thử nghiệm Kolmogorov-Smirnov, bạn có thể thực hiện phương pháp thử nghiệm của Lilliefors.

Nghĩa là, để sử dụng thống kê KS nhưng có phân phối thống kê kiểm tra phản ánh hiệu quả của ước lượng tham số - mô phỏng phân phối thống kê kiểm tra theo ước tính tham số. (Nó không còn phân phối nữa, vì vậy bạn cần các bảng mới cho mỗi phân phối.)

http://en.wikipedia.org/wiki/Lilliefors_test

Liliefors đã sử dụng mô phỏng cho trường hợp bình thường và theo cấp số nhân, nhưng bạn có thể dễ dàng thực hiện nó cho bất kỳ phân phối cụ thể nào; trong một cái gì đó giống như R, việc mô phỏng 10.000 hoặc 100.000 mẫu và phân phối thống kê kiểm tra dưới giá trị là một vấn đề.

[Một cách khác có thể là xem xét Anderson-Darling, người có cùng một vấn đề, nhưng - đánh giá từ cuốn sách của D'Agostino và Stephens ( Goodness-of-fit-kỹ thuật ) dường như ít nhạy cảm hơn với nó. Bạn có thể điều chỉnh ý tưởng Lilliefors, nhưng họ đề xuất một điều chỉnh tương đối đơn giản có vẻ hoạt động khá tốt.]

Nhưng vẫn có những cách tiếp cận khác; có những gia đình kiểm tra trơn tru về mức độ phù hợp, ví dụ (ví dụ xem cuốn sách của Rayner và Best) rằng trong một số trường hợp cụ thể có thể xử lý ước tính tham số.

* hiệu ứng vẫn có thể khá lớn - có lẽ lớn hơn bình thường sẽ được coi là chấp nhận được; Momo có quyền bày tỏ mối quan tâm về nó. Nếu tỷ lệ lỗi loại I cao hơn (và đường cong công suất phẳng hơn) là một vấn đề, thì đây có thể không phải là một sự cải thiện!

— Glen_b -Reinstate Monica
nguồn

bạn có thể giải thích làm thế nào "tách mẫu sẽ giải quyết vấn đề với việc phân phối số liệu thống kê" không? Theo tôi, các tham số sẽ được ước tính từ một mẫu phụ và sau đó được cắm vào thử nghiệm KS của mẫu phụ thứ hai, nhưng các tham số vẫn sẽ được liên kết với lỗi lấy mẫu không được tính trong phân phối null. Điều này đối với tôi như thể một ý tưởng tương tự có thể tách một mẫu khỏi phân phối bình thường, ước tính độ lệch chuẩn trong một mẫu và thực hiện so sánh trung bình với chuẩn thông thường thay vì t-dist trong mẫu phụ thứ hai.

— Momo

@Momo 'giải quyết' quá mạnh; "Giảm" là tốt hơn. Nếu tham số được ước lượng từ các quan sát tương tự bạn đang thử nghiệm, sau đó - trừ khi tài khoản của bạn cho hiệu ứng đó - độ lệch của mẫu từ phân phối sẽ được 'quá nhỏ' - tỷ lệ từ chối đi waay xuống. Sử dụng một mẫu khác loại bỏ hiệu ứng đó. Các giá trị tham số do ước tính từ mẫu thứ hai vẫn bị lỗi lấy mẫu. Điều đó sẽ có một số tác động đối với thử nghiệm (tăng tỷ lệ lỗi loại I), nhưng sẽ không có hiệu ứng sai lệch đáng kể khi sử dụng cùng một dữ liệu cho cả hai.

— Glen_b -Reinstate Monica

@Momo Tôi đã chỉnh sửa nhận xét của mình để xóa 'giải quyết' và thay thế bằng một số lời giải thích

— Glen_b -Reinstate Monica

Tôi sợ rằng sẽ không giải quyết vấn đề. Tôi tin rằng vấn đề không phải là các tham số được ước tính từ cùng một mẫu mà là từ bất kỳ mẫu nào . Đạo hàm của phân phối null thông thường của kiểm tra KS không tính đến bất kỳ lỗi ước tính nào trong các tham số của phân phối tham chiếu, mà chỉ xem chúng như được đưa ra. Xem thêm Durbin 1973 , người thảo luận về vấn đề này một cách lâu dài và đưa ra giải pháp.

— Mẹ ơi
nguồn

Đây thực sự là hai vấn đề riêng biệt. Nếu bạn sử dụng cùng một dữ liệu để ước tính các tham số và thực hiện Kiểm tra KS, bạn thường sẽ thấy các giá trị p bị thổi phồng , vì về cơ bản, bạn thích ứng phân phối với dữ liệu trước khi kiểm tra dữ liệu đó. Tuy nhiên, nếu bạn sử dụng hai bộ mẫu độc lập, thì đây không phải là trường hợp. Tuy nhiên, ước tính tham số không chính xác có thể làm giảm giá trị p bạn nhận được trong trường hợp này, vì hiện tại về cơ bản bạn đang kiểm tra phân phối sai (hơi) .

— fgp