Làm thế nào để kiểm tra giả thuyết không có sự khác biệt nhóm?

Hãy tưởng tượng bạn có một nghiên cứu với hai nhóm (ví dụ: nam và nữ) đang xem xét một biến phụ thuộc số (ví dụ: điểm kiểm tra trí thông minh) và bạn có giả thuyết rằng không có sự khác biệt về nhóm.

Câu hỏi:

• Một cách tốt để kiểm tra xem không có sự khác biệt nhóm?
• Làm thế nào bạn sẽ xác định kích thước mẫu cần thiết để kiểm tra đầy đủ cho không có sự khác biệt nhóm?

Suy nghĩ ban đầu:

• Sẽ không đủ để thực hiện kiểm tra t tiêu chuẩn vì việc không từ chối giả thuyết null không có nghĩa là tham số quan tâm bằng hoặc gần bằng 0; đây là trường hợp đặc biệt với các mẫu nhỏ
• Tôi có thể xem xét khoảng tin cậy 95% và kiểm tra xem tất cả các giá trị nằm trong một phạm vi đủ nhỏ; có lẽ cộng hoặc trừ 0,3 độ lệch chuẩn.

Tôi nghĩ rằng bạn đang hỏi về thử nghiệm cho tương đương . Về cơ bản, bạn cần phải quyết định mức độ chênh lệch lớn có thể chấp nhận được đối với bạn để vẫn kết luận rằng hai nhóm tương đương nhau một cách hiệu quả. Quyết định đó xác định giới hạn khoảng tin cậy 95% (hoặc khác) và tính toán kích thước mẫu được thực hiện trên cơ sở này.

Có cả một cuốn sách về chủ đề này.

Một "tương đương" lâm sàng rất phổ biến của các xét nghiệm tương đương là xét nghiệm / thử nghiệm không kém . Trong trường hợp này, bạn "thích" một nhóm hơn nhóm kia (một phương pháp điều trị đã được thiết lập) và thiết kế thử nghiệm của bạn để cho thấy rằng phương pháp điều trị mới không thua kém điều trị đã được thiết lập ở một số mức độ bằng chứng thống kê.

Tôi nghĩ rằng tôi cần phải ghi có Harvey Motulsky cho trang web GraphPad.com (trong "Thư viện" ).

Bên cạnh khả năng đã được đề cập của một số loại thử nghiệm tương đương , trong đó hầu hết trong số chúng, theo sự hiểu biết tốt nhất của tôi, hầu hết được định hướng theo truyền thống thường xuyên cũ, có khả năng tiến hành các thử nghiệm thực sự cung cấp định lượng bằng chứng trong ủng hộ một giả thuyết null, cụ thể là các bài kiểm tra bayes .

Một triển khai thử nghiệm t bayesian có thể được tìm thấy ở đây: Wetzels, R., Raaijmakers, JGW, Jakab, E., & Wagenmakers, E.-J. (2009). Cách định lượng hỗ trợ cho và chống lại giả thuyết null: Việc triển khai WinBUGS linh hoạt của kiểm tra t Bayes mặc định. Bản tin & Đánh giá tâm lý, 16, 752-760.

Ngoài ra còn có một hướng dẫn về cách làm tất cả điều này trong R:

http://www.ruudwetzels.com/index.php?src=SDtest

Một cách khác (có lẽ là cách tiếp cận hiện đại hơn) của bài kiểm tra t Bayes được cung cấp (có mã) trong bài viết này của Kruschke:

Kruschke, JK (2013). Ước lượng Bayes thay thế thử nghiệm t . Tạp chí Tâm lý học Thực nghiệm: Chung , 142 (2), 573 Ảo603. doi: 10.1037 / a0029146

Tất cả các đạo cụ cho câu trả lời này (trước khi thêm Kruschke) nên đến đồng nghiệp của tôi David Kellen. Tôi đã đánh cắp câu trả lời của anh ấy từ câu hỏi này .

Theo câu trả lời của Thylacoleo, tôi đã làm một nghiên cứu nhỏ.

Các tính tương đương gói vào R có tost()chức năng.

Xem Robinson và Frose (2004) " Xác thực mô hình bằng các thử nghiệm tương đương " để biết thêm thông tin.

Có một vài giấy tờ tôi biết có thể hữu ích cho bạn:

Thử, WW (2001). Đánh giá sự khác biệt thống kê, tính tương đương và tính không xác định bằng cách sử dụng khoảng tin cậy suy luận: Một phương pháp thay thế tích hợp để tiến hành các thử nghiệm thống kê giả thuyết null. Phương pháp tâm lý, 6, 371-386. ( PDF MIỄN PHÍ )

Và một sự điều chỉnh:
Tryon, WW, & Lewis, C. (2008). Một phương pháp xác định khoảng tin cậy suy luận để thiết lập sự tương đương thống kê điều chỉnh hệ số giảm của Tryon (2001). Phương pháp tâm lý, 13, 272-278. ( PDF MIỄN PHÍ )

Hơn nữa:

Seaman, MA & Serlin, RC (1998). Khoảng tin cậy tương đương E để so sánh hai nhóm phương tiện . Phương pháp tâm lý, tập 3 (4), 403-411.

Gần đây tôi đã nghĩ về một cách khác của "thử nghiệm tương đương" dựa trên khoảng cách giữa hai bản phân phối thay vì giữa các phương tiện của chúng.

Có một số phương pháp cung cấp khoảng tin cậy cho sự chồng chéo của hai phân phối Gaussian:

$O(P_1,P_2)$$P_1$$P_2$

Điều đó có nghĩa là, ví dụ, nếu thì xác suất được đưa ra bởi và của bất kỳ sự kiện nào không khác nhau nhiều hơn . Nói một cách đơn giản, hai bản phân phối đưa ra dự đoán giống nhau lên tới .$O(P_1,P_2)>0.9$$P_1$$P_2$$0.1$$10\%$

Do đó, thay vì sử dụng tiêu chí chấp nhận dựa trên giá trị quan trọng cho sự khác biệt giữa phương tiện và , như trong thử nghiệm tương đương cổ điển, chúng tôi có thể dựa trên giá trị quan trọng cho sự khác biệt giữa xác suất của các dự đoán được đưa ra bởi Hai bản phân phối.$\mu_1$$\mu_2$

Tôi nghĩ rằng có một lợi thế về "tính khách quan" của tiêu chí. Giá trị tới hạn củanên được đưa ra bởi một chuyên gia về vấn đề thực sự: đây phải là một giá trị vượt ra ngoài sự khác biệt có tầm quan trọng thực tế. Nhưng đôi khi không ai có kiến ​​thức vững chắc về vấn đề thực sự và không có chuyên gia nào có thể cung cấp một giá trị quan trọng. Việc chấp nhận một giá trị quan trọng thông thường về có thể là một cách để một tiêu chí không phụ thuộc vào vấn đề vật lý đang được xem xét.$|\mu_1 - \mu_2|$$TV(P_1,P_2)$

Trong trường hợp Gaussian có cùng phương sai, sự trùng lặp là một đối một liên quan đến sự khác biệt trung bình được tiêu chuẩn hóa .$\frac{|\mu_1-\mu_2|}{\sigma}$

Trong các ngành khoa học y tế, tốt hơn là sử dụng cách tiếp cận khoảng tin cậy thay vì hai xét nghiệm một phía (tost). Tôi cũng khuyên bạn nên vẽ đồ thị ước tính điểm, các TCTD và tỷ lệ tương đương được xác định trước để xác định rõ ràng.

Câu hỏi của bạn có thể sẽ được giải quyết bằng một cách tiếp cận như vậy.

Các hướng dẫn TIÊU DÙNG cho các nghiên cứu không thua kém / tương đương là khá hữu ích trong vấn đề này.

Xem Piaggio G, Elbourne DR, Altman DG, Pocock SJ, Evans SJ và nhóm TIẾNG VIỆT. Báo cáo về các thử nghiệm ngẫu nhiên không tương đương và tương đương: một phần mở rộng của tuyên bố TIÊU DÙNG. JAMA. 2006, 8 tháng 3; 295 (10): 1152-60. (Liên kết đến toàn văn.)

Vâng. Đây là thử nghiệm tương đương. Về cơ bản, bạn đảo ngược giả thuyết không và thay thế và dựa vào kích thước mẫu dựa trên sức mạnh để cho thấy rằng sự khác biệt của phương tiện nằm trong cửa sổ tương đương. Blackwelder gọi đó là "Chứng minh giả thuyết khống". Điều này thường được thực hiện trong các thử nghiệm lâm sàng dược phẩm trong đó sự tương đương của một loại thuốc chung với thuốc bán trên thị trường được thử nghiệm hoặc một loại thuốc được phê duyệt được so sánh với một công thức mới (thường được gọi là tương đương sinh học). Phiên bản một mặt được gọi là không thua kém. Đôi khi một loại thuốc có thể được chấp thuận chỉ bằng cách chỉ ra rằng loại thuốc mới không thua kém đối thủ cạnh tranh trên thị trường. Shao và Pigeot đã phát triển một cách tiếp cận bootstrap nhất quán để tương đương sinh học bằng cách sử dụng các thiết kế chéo.

Bootstrap khác biệt (ví dụ: sự khác biệt giữa các phương tiện) giữa 2 nhóm mẫu và kiểm tra ý nghĩa thống kê. Một mô tả chi tiết hơn về phương pháp này, mặc dù trong một bối cảnh khác, có thể được tìm thấy ở đây http://www.automated-trading-system.com/a-different-application-of-the-bootstrap/