Có hai mô hình chung để thử nghiệm. Cái đầu tiên, dựa trên giả định lấy mẫu ngẫu nhiên từ dân số, thường được gọi là "mô hình dân số".
Ví dụ, đối với thử nghiệm t hai mẫu độc lập, chúng tôi giả định rằng hai nhóm chúng tôi muốn so sánh là các mẫu ngẫu nhiên từ các quần thể tương ứng. Giả sử rằng các phân phối điểm trong hai nhóm thường được phân phối trong dân số, thì chúng ta có thể rút ra phân tích lấy mẫu của thống kê kiểm tra (ví dụ, đối với thống kê t). Ý tưởng là nếu chúng ta lặp lại quy trình này (rút ngẫu nhiên hai mẫu từ các quần thể tương ứng) một số lần vô hạn (tất nhiên, chúng ta không thực sự làm điều đó), chúng ta sẽ có được phân phối mẫu này cho thống kê kiểm tra.
Một mô hình thay thế để thử nghiệm là "mô hình ngẫu nhiên". Ở đây, chúng tôi không phải kháng cáo lấy mẫu ngẫu nhiên. Thay vào đó, chúng tôi có được một phân phối ngẫu nhiên thông qua hoán vị các mẫu của chúng tôi.
Ví dụ, đối với thử nghiệm t, bạn có hai mẫu của mình (không nhất thiết phải lấy qua lấy mẫu ngẫu nhiên). Bây giờ nếu thực sự không có sự khác biệt giữa hai nhóm này, thì việc một người cụ thể thực sự "thuộc" nhóm 1 hay nhóm 2 là tùy ý. Vì vậy, những gì chúng ta có thể làm là cho phép lặp đi lặp lại việc phân công nhóm, mỗi lần lưu ý rằng phương tiện của hai nhóm cách nhau bao xa. Bằng cách này, chúng tôi có được một phân phối lấy mẫu theo kinh nghiệm. Sau đó, chúng ta có thể so sánh hai phương tiện cách nhau bao xa trong các mẫu ban đầu (trước khi chúng ta bắt đầu cải tổ lại tư cách thành viên nhóm) và nếu sự khác biệt đó là "cực đoan" (nghĩa là rơi vào đuôi phân phối lấy mẫu theo kinh nghiệm), thì chúng ta kết luận thành viên nhóm đó không độc đoán và thực sự có sự khác biệt giữa hai nhóm.
Trong nhiều tình huống, hai cách tiếp cận thực sự dẫn đến cùng một kết luận. Theo một cách nào đó, cách tiếp cận dựa trên mô hình dân số có thể được coi là một xấp xỉ với thử nghiệm ngẫu nhiên. Thật thú vị, Fisher là người đã đề xuất mô hình ngẫu nhiên và cho rằng nó nên là cơ sở cho các suy luận của chúng tôi (vì hầu hết các mẫu không được lấy thông qua lấy mẫu ngẫu nhiên).
Một bài viết hay mô tả sự khác biệt giữa hai cách tiếp cận là:
Ernst, MD (2004). Phương pháp hoán vị: Một cơ sở cho suy luận chính xác. Khoa học thống kê, 19 (4), 676-685 (liên kết) .
Một bài viết khác cung cấp một bản tóm tắt hay và đề xuất rằng phương pháp ngẫu nhiên sẽ là cơ sở cho các suy luận của chúng tôi:
Ludbrook, J., & Dudley, H. (1998). Tại sao xét nghiệm hoán vị lại vượt trội so với xét nghiệm t và F trong nghiên cứu y sinh. Thống kê người Mỹ, 52 (2), 127-132 (liên kết) .
EDIT: Tôi cũng nên thêm rằng thông thường để tính toán thống kê kiểm tra tương tự khi sử dụng phương pháp ngẫu nhiên hóa như trong mô hình dân số. Vì vậy, ví dụ, để kiểm tra sự khác biệt về phương tiện giữa hai nhóm, người ta sẽ tính toán thống kê t thông thường cho tất cả các hoán vị có thể có của các thành viên nhóm (mang lại sự phân phối lấy mẫu theo kinh nghiệm theo giả thuyết null) và sau đó người ta sẽ kiểm tra mức độ cực đoan thống kê t cho thành viên nhóm ban đầu nằm dưới sự phân phối đó.