Chúng ta có cần phải lo lắng về các ngoại lệ khi sử dụng các bài kiểm tra dựa trên xếp hạng không?

Xin lỗi nếu đây là một câu hỏi rất cơ bản.

Nếu chúng ta có dữ liệu không được phân phối bình thường (ví dụ: xiên, kiểm tra Shapiro-Wilk là đáng kể) và chúng ta sử dụng các phương pháp dựa trên xếp hạng (ví dụ: kiểm tra Xếp hạng có chữ ký của Wilcoxon), thì chúng ta có cần phải quan tâm đến các ngoại lệ không?

Ví dụ, hãy tưởng tượng, chúng ta vẽ đồ thị dữ liệu bằng cách sử dụng boxplot và một số ít điểm dữ liệu được đánh dấu là ngoại lệ. Chúng ta có nên biến đổi những điểm đó? Hoặc loại bỏ chúng? Dường như với tôi, nhiều sách giáo khoa nói về việc xử lý các ngoại lệ, nhưng chỉ vì chúng gây ảnh hưởng lớn đến các tham số như giá trị trung bình và độ lệch chuẩn. Tuy nhiên, khi chúng tôi sử dụng bài kiểm tra dựa trên xếp hạng, chúng sẽ được 'biến đổi' thành giá trị tiếp theo trong xếp hạng, và do đó sẽ không gây ảnh hưởng lớn đến bài kiểm tra. Tôi chưa thấy điều này được nêu rõ ràng trong một cuốn sách thống kê cho đến nay, vì vậy tôi nghĩ rằng tôi sẽ đặt câu hỏi ở đây.

Chúng ta có cần phải lo lắng về các ngoại lệ khi sử dụng các bài kiểm tra dựa trên xếp hạng không?

Không. Khi dữ liệu được xếp hạng, một ngoại lệ sẽ chỉ được công nhận là trường hợp được xếp hạng ở trên (hoặc bên dưới) trong trường hợp cực kỳ tiếp theo. Bất kể có 0,01 hay 5 độ lệch chuẩn giữa giá trị cực đoan nhất và thứ hai, mức độ khác biệt đó sẽ bị loại bỏ khi dữ liệu được xếp hạng.

Trên thực tế, một trong nhiều lý do tại sao một người nào đó có thể sử dụng bài kiểm tra dựa trên xếp hạng (hoặc không theo tỷ lệ) là do ngoại lệ.

Câu trả lời của @ Hotaka khá chính xác. Xếp hạng làm cho việc chuyển đổi không cần thiết; bản thân nó là một sự biến đổi mà bỏ qua các giá trị chính xác trừ khi chúng dẫn đến sự khác biệt về thứ hạng. Trong thực tế, một chút suy nghĩ, hoặc một số tính toán ví dụ, sẽ cho thấy kết quả sau khi xếp hạng logarit hoặc căn bậc hai hoặc bất kỳ phép biến đổi đơn điệu nào khác giống hệt như sau khi xếp hạng dữ liệu gốc.

Nhưng nhiều hơn có thể nói. Một trong hai hoặc suy nghĩ

• Dữ liệu của tôi thường được phân phối và tôi có thể sử dụng các quy trình chuẩn hoặc cổ điển.

• Hoặc tôi cần phải dùng đến các bài kiểm tra dựa trên xếp hạng.

là một chút nghiêm túc, và (nó có thể được đề xuất) quá đơn giản. Mặc dù thật khó để đề xuất chính xác những gì bạn nên làm mà không nhìn thấy dữ liệu và mục tiêu chính xác của bạn, có những quan điểm khác:

1. Nhiều người sử dụng số liệu thống kê xem xét các phân phối cận biên (đơn biến) và đánh giá xem chúng có gần với quy tắc hay không, nhưng điều đó thậm chí có thể không liên quan. Ví dụ, tính quy phạm biên không bắt buộc đối với các thủ tục kiểu hồi quy. Đối với nhiều thủ tục, đó là cách các phương tiện hoạt động, chứ không phải cách dữ liệu hoạt động, điều đó quan trọng hơn và gần với các giả định chính.

2. Ngay cả (nói) một kết quả quan trọng ở các mức thông thường cho xét nghiệm Shapiro - Wilk là không rõ ràng về mặt phân tích hướng dẫn sau này. Nó chỉ nói "phân phối của bạn khác biệt rõ rệt so với phân phối bình thường". Điều đó tự nó không ngụ ý rằng mức độ không bình thường mà bạn có làm cho bất cứ điều gì bạn có trong tâm trí không hợp lệ hoặc vô lý. Nó có thể chỉ có nghĩa là: đi cẩn thận, vì các giả định cơ bản không được thỏa mãn chính xác. (Trong thực tế, họ không bao giờ hài lòng chính xác, bằng mọi cách.) Thói quen tu luyện là suy nghĩ rằng tất cả các giá trị P là xấp xỉ. (Ngay cả khi các giả định về phân phối không được thực hiện, các giả định về lấy mẫu hoặc tính độc lập hoặc đo lường không có lỗi thường được ngầm định.)

3. Mặc dù nhiều văn bản và khóa học ngụ ý khác, thống kê phi tham số là một cái gì đó của ngõ cụt vinh quang: có một loạt các bài kiểm tra đôi khi hữu ích, nhưng trong thực tế, bạn từ bỏ hầu hết các mô hình hữu ích là trung tâm của thống kê hiện đại.

4. Outliers được đề cập ở đây, và họ luôn xứng đáng được chú ý. Chúng không bao giờ được bỏ qua chỉ vì chúng bất tiện hoặc dường như là lý do tại sao các giả định không được thỏa mãn. Đôi khi phân tích trên một quy mô chuyển đổi là cách tốt nhất về phía trước. Đôi khi một số ngoại lệ nhẹ không phải là vấn đề như người dùng ít kinh nghiệm về nỗi sợ thống kê. Với các mẫu nhỏ, dữ liệu thường sẽ trông rách rưới hoặc vón cục, ngay cả khi quy trình tạo ra được xử lý khá tốt; với các mẫu lớn, một ngoại lệ duy nhất không cần chi phối phần còn lại của dữ liệu.

5. Luôn có tùy chọn thực hiện cả hai loại bài kiểm tra, ví dụ như Student t và Mann-Whitney-Wilcoxon. Họ không hỏi chính xác cùng một câu hỏi, nhưng thường rất dễ để xem liệu họ có cùng hướng hay không. Đó là, nếu trong thử nghiệm và thử nghiệm khác đều đưa ra tín hiệu rõ ràng rằng hai nhóm khác nhau, bạn có một chút trấn an rằng kết luận của bạn được hỗ trợ tốt (và một số biện pháp chống lại sự hoài nghi làm mất tập trung vào một hoặc một thủ tục khác được đưa ra một cách không bình thường ). Nếu hai bài kiểm tra đưa ra câu trả lời rất khác nhau, thì đây chính là bằng chứng hữu ích cho thấy bạn cần suy nghĩ rất kỹ về cách tốt nhất để phân tích dữ liệu. (Có lẽ ngoại lệ to lớn đó thực sự quyết định cách nào câu trả lời được đưa ra.)

Với kinh nghiệm, người sử dụng số liệu thống kê thường không chính thức hơn các văn bản hoặc khóa học ngụ ý họ nên có. Nếu bạn đã nói chuyện qua một phân tích với họ, bạn sẽ thường thấy rằng họ đưa ra những phán đoán nhanh như "Chắc chắn, các ô trong hộp cho thấy một số ngoại lệ nhẹ, nhưng với dữ liệu như phân tích phương sai này sẽ hoạt động tốt" hoặc "Với độ lệch được đánh dấu, thang đo logarit là lựa chọn hợp lý duy nhất ". Tôi không nghĩ rằng bạn sẽ thường thấy họ chọn các kỹ thuật dựa trên việc xét nghiệm Shapiro-Wilk có hay không có ý nghĩa với . Nói điều gì đó như thế có thể không giúp người dùng ít kinh nghiệm hơn nhiều, nhưng có vẻ đúng hơn ý tưởng rằng các số liệu thống kê cung cấp các công thức chính xác luôn phải tuân theo.$P < 0.05$