Kiểm tra thống kê để cho biết hai mẫu được kéo từ cùng một quần thể?

Hãy nói rằng tôi có hai mẫu. Nếu tôi muốn biết liệu chúng có được kéo từ các quần thể khác nhau hay không, tôi có thể chạy thử nghiệm t. Nhưng hãy nói rằng tôi muốn kiểm tra xem các mẫu có thuộc cùng một quần thể hay không. Làm thế nào để làm điều này? Đó là, làm thế nào để tôi tính xác suất thống kê rằng hai mẫu này được kéo từ cùng một quần thể?

Các thử nghiệm so sánh phân phối là thử nghiệm loại trừ. Họ bắt đầu với giả thuyết khống rằng 2 quần thể giống hệt nhau, sau đó cố gắng bác bỏ giả thuyết đó. Chúng tôi không bao giờ có thể chứng minh null là đúng, chỉ cần từ chối nó, vì vậy những thử nghiệm này thực sự không thể được sử dụng để chỉ ra rằng 2 mẫu đến từ cùng một quần thể (hoặc dân số giống hệt nhau).

Điều này là do có thể có sự khác biệt nhỏ trong các bản phân phối (có nghĩa là chúng không giống nhau), nhưng nhỏ đến mức các bài kiểm tra không thể thực sự tìm thấy sự khác biệt.

Hãy xem xét 2 phân phối, lần đầu tiên là thống nhất từ ​​0 đến 1, lần thứ hai là hỗn hợp của 2 đồng phục, vì vậy nó là 1 giữa 0 và 0,999 và cũng là 1 giữa 9,999 và 10 (0 ở nơi khác). Vì vậy, rõ ràng các phân phối này là khác nhau (cho dù sự khác biệt có ý nghĩa hay không là một câu hỏi khác), nhưng nếu bạn lấy cỡ mẫu là 50 từ mỗi (tổng số 100) thì có hơn 90% khả năng bạn sẽ chỉ thấy các giá trị trong khoảng từ 0 đến 0,999 và không thể thấy bất kỳ sự khác biệt thực sự.

Có nhiều cách để thực hiện cái được gọi là kiểm tra tương đương trong đó bạn hỏi xem 2 phân phối / quần thể có tương đương không, nhưng bạn cần xác định những gì bạn cho là tương đương. Thông thường, một số thước đo khác biệt nằm trong một phạm vi nhất định, nghĩa là chênh lệch trong 2 phương tiện nhỏ hơn 5% so với trung bình của 2 phương tiện, hoặc thống kê của KS nằm dưới ngưỡng giới hạn, v.v. Nếu bạn sau đó có thể tính toán khoảng tin cậy cho thống kê chênh lệch (chênh lệch của phương tiện có thể chỉ là khoảng tin cậy t, bootstrapping, mô phỏng hoặc các phương pháp khác có thể cần thiết cho các thống kê khác). Nếu toàn bộ khoảng tin cậy rơi vào "vùng tương đương" thì chúng tôi coi 2 quần thể / phân phối là "tương đương".

Phần khó là tìm ra vùng tương đương sẽ là gì.

http://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test

Giả sử giá trị mẫu của bạn đến từ các phân phối liên tục, tôi sẽ đề xuất thử nghiệm Kolmogorov-Smirnov. Nó có thể được sử dụng để kiểm tra xem hai mẫu có đến từ các bản phân phối khác nhau hay không (đây là cách tôi diễn giải việc sử dụng dân số của bạn) dựa trên các bản phân phối thực nghiệm có liên quan của chúng.

Trực tiếp từ Wikipedia:

Phân phối null của thống kê này được tính theo giả thuyết null rằng các mẫu được rút ra từ cùng một phân phối (trong trường hợp hai mẫu)

Hàm ks.test trong R có thể được sử dụng cho thử nghiệm này.

Mặc dù đúng là kstest không kiểm tra tính đồng nhất, tôi sẽ lập luận rằng nếu bạn không từ chối với cỡ mẫu đủ lớn (một thử nghiệm công suất cao), bạn có thể khẳng định sự khác biệt không thực sự có ý nghĩa. Bạn có thể suy luận rằng nếu sự khác biệt tồn tại, chúng có thể không có ý nghĩa (một lần nữa, giả sử kích thước mẫu lớn). Bạn không thể kết luận họ đến từ cùng một dân số như những người khác đã nêu chính xác. Tất cả điều này đang được nói, thông thường tôi sẽ chỉ kiểm tra đồ họa của hai mẫu cho sự tương đồng.

Bạn có thể sử dụng 'hàm dịch chuyển' để kiểm tra xem 2 bản phân phối có khác nhau ở mỗi lần dịch hay không. Mặc dù về mặt kỹ thuật, đây là một thử nghiệm xem liệu chúng đến từ các quần thể khác nhau chứ không phải giống nhau, nếu phân phối không khác nhau trên bất kỳ decile nào thì bạn có thể chắc chắn rằng chúng thuộc cùng một quần thể, đặc biệt là nếu kích thước nhóm lớn.

Tôi cũng sẽ hình dung 2 nhóm: chồng các bản phân phối của chúng lên và xem chúng có giống nhau không, hay tốt hơn là vẽ một vài nghìn mẫu bootstrap từ mỗi nhóm và vẽ chúng , vì điều này sẽ cho bạn biết liệu chúng có đến từ cùng không dân số đặc biệt nếu dân số trong câu hỏi không được phân phối bình thường cho bạn cho biến.