Trong nghiên cứu khoa học thực tế, rất hiếm khi có dữ liệu đến từ việc lấy mẫu ngẫu nhiên thực sự. Các dữ liệu hầu như luôn luôn là mẫu thuận tiện. Điều này chủ yếu ảnh hưởng đến dân số mà bạn có thể khái quát. Điều đó nói rằng, ngay cả khi chúng là một mẫu thuận tiện, chúng đã đến từ một nơi nào đó, bạn chỉ cần rõ ràng về nơi và những hạn chế ngụ ý. Nếu bạn thực sự tin rằng dữ liệu của bạn không đại diện cho bất cứ điều gì, thì nghiên cứu của bạn sẽ không có giá trị ở bất kỳ cấp độ nào, nhưng điều đó có thể không đúng 1 . Do đó, thường hợp lý khi xem xét các mẫu của bạn như được rút ra từ đâu đó và sử dụng các thử nghiệm tiêu chuẩn này, ít nhất là theo nghĩa được bảo vệ hoặc đủ điều kiện.
Tuy nhiên, có một triết lý kiểm tra khác nhau, lập luận rằng chúng ta nên tránh xa những giả định đó và các thử nghiệm dựa vào chúng. Tukey là một người ủng hộ điều này. Thay vào đó, hầu hết các nghiên cứu thử nghiệm được coi là hợp lệ (nội bộ) vì các đơn vị nghiên cứu (ví dụ, bệnh nhân) được phân ngẫu nhiên vào các nhánh. Vì điều này, bạn có thể sử dụng các phép thử hoán vị , mà hầu hết chỉ cho rằng việc ngẫu nhiên được thực hiện chính xác. Đối trọng của việc lo lắng quá nhiều về điều này là các bài kiểm tra hoán vị thường sẽ cho thấy điều tương tự như các bài kiểm tra cổ điển tương ứng, và còn nhiều việc phải thực hiện. Vì vậy, một lần nữa, các bài kiểm tra tiêu chuẩn có thể được chấp nhận.
1. Để biết thêm về những dòng này, có thể giúp đọc câu trả lời của tôi ở đây: Xác định dân số và mẫu trong một nghiên cứu .