Làm thế nào để bạn xác minh các giả định kiểm tra trong các trường hợp thực tế, mà không kiểm tra chúng

Chúng tôi biết rằng, về mặt chính thức, các giả định của thử nghiệm không thể được kiểm tra, bởi vì nếu chúng tôi chọn thử nghiệm nào sẽ sử dụng dựa trên kết quả của thử nghiệm, thử nghiệm tổng hợp kết quả có các thuộc tính không xác định (tỷ lệ lỗi Loại I và II). Tôi nghĩ rằng đây là một trong những lý do tại sao cách tiếp cận thống kê "Six Sigma" (sử dụng cây quyết định dựa trên kết quả kiểm tra để chọn sử dụng thử nghiệm nào) có được một bản rap tệ trong số các nhà thống kê chuyên nghiệp.

Tuy nhiên, với dữ liệu trong thế giới thực, chúng ta thường lấy các mẫu mà các giả định cổ điển có thể không giữ được, và do đó chúng ta cần kiểm tra theo cách này hay cách khác. Vì vậy, những gì bạn thực sự làm trong công việc / nghiên cứu của bạn? Thực hiện kiểm tra không chính thức, ví dụ, hãy xem phân phối dữ liệu và sử dụng t-test khi phân phối theo kinh nghiệm dường như không quá sai lệch? Đây là những gì tôi thấy được thực hiện hầu hết thời gian. Tuy nhiên, miễn là chúng tôi đưa ra quyết định dựa trên kết quả của "thử nghiệm không chính thức" này, chúng tôi vẫn ảnh hưởng đến các thuộc tính thử nghiệm và tất nhiên nếu chúng tôi không sử dụng séc để đưa ra quyết định, thì séc là vô dụng và chúng tôi Không nên lãng phí thời gian quý báu để làm điều đó. Tất nhiên, bạn có thể trả lời tôi rằng các thuộc tính kiểm tra chính thức được đánh giá cao và trong thực tế, chúng ta không cần phải tôn giáo về điều đó. Đây là lý do tại sao tôi quan tâm đến những gì bạn làm trong thực tế, không chỉ từ nền tảng lý thuyết.

Một cách tiếp cận khác là luôn luôn sử dụng thử nghiệm với ít giả định hơn. Thông thường, tôi đã thấy cách tiếp cận này được đóng khung là thích các thử nghiệm không theo tỷ lệ hơn so với các thử nghiệm tham số , vì trước đây không cho rằng các thống kê kiểm tra xuất phát từ một họ các phân phối được lập chỉ mục bởi một vectơ tham số, do đó sẽ mạnh mẽ hơn (ít giả định hơn ). Điều này nói chung có đúng không? Với phương pháp này, chúng ta không mạo hiểm sử dụng các bài kiểm tra thiếu năng lực trong một số trường hợp? Tôi không chắc. Có một tài liệu tham khảo hữu ích (có thể đơn giản) cho các thống kê được áp dụng, liệt kê một danh sách các thử nghiệm / mô hình sẽ sử dụng, như là các lựa chọn thay thế tốt hơn cho các thử nghiệm cổ điển (t-test, Chi-vuông, v.v.) và khi nào nên sử dụng chúng?

Những gì tôi đã thấy được thực hiện thường xuyên nhất (và có xu hướng tự làm) là xem xét một số bộ dữ liệu lịch sử từ cùng một khu vực cho cùng một biến và sử dụng nó làm cơ sở để quyết định điều gì là phù hợp. Khi thực hiện điều đó, tất nhiên nên nhớ rằng độ lệch nhẹ so với tính quy tắc trong phần dư hồi quy thường không quá nhiều vấn đề với các cỡ mẫu đủ lớn trong ứng dụng được lên kế hoạch. Bằng cách xem xét dữ liệu độc lập, người ta tránh được vấn đề làm rối các thuộc tính kiểm tra như kiểm soát lỗi loại I (rất quan trọng trong một số lĩnh vực như thử nghiệm lâm sàng xác nhận cho các mục đích quy định). Lý do cho (khi thích hợp) sử dụng các phương pháp tham số là, như bạn nói, hiệu quả,

Cá nhân, tôi thích chạy thử nghiệm tham số và tương đương không tham số của nó và kiểm tra các giả định của từng loại một. Nếu các giả định của thử nghiệm tham số không vi phạm ồ ạt hoặc nếu tôi nhận được kết quả tương tự với văn bản không tham số, tôi sẽ sử dụng thử nghiệm tham số. Ngay cả khi các giả định tham số bị vi phạm, nếu bạn nhận được kết quả quan trọng, bạn có thể khá tin tưởng vào chúng vì bài kiểm tra đã bị suy yếu do vi phạm. Ngoài ra, hãy trung thực, thật khó để đưa ra một diễn giải có ý nghĩa về kết quả như "nhóm A có điểm thứ hạng trung bình cao hơn 12 so với điểm thứ hạng trung bình của nhóm B."