Là tự động tăng kích thước mẫu có ổn không, nếu nêu một ưu tiên?

Tôi sắp thực hiện một nghiên cứu về giá trị của một kích thích so với một kích thích khác với thiết kế bên trong chủ đề. Tôi có một sơ đồ hoán vị được thiết kế để giảm hiệu ứng thứ tự của một số phần của nghiên cứu (thứ tự loại nhiệm vụ, thứ tự kích thích, thứ tự tập hợp nhiệm vụ). Sơ đồ hoán vị cho rằng kích thước mẫu chia hết cho 8.

Để xác định kích thước mẫu tôi phải đoán một cách hoang dã (là một truyền thống tốt trong lĩnh vực của tôi) hoặc tính kích thước mẫu cho sức mạnh mong muốn của tôi. Vấn đề là bây giờ tôi không có manh mối nhỏ nhất về kích thước hiệu ứng mà tôi sẽ quan sát (cũng là một truyền thống tốt trong lĩnh vực của tôi). Điều đó có nghĩa là tính toán năng lượng là một chút khó khăn. Mặt khác, việc đoán mò cũng có thể tệ vì tôi có thể xuất hiện với cỡ mẫu quá thấp hoặc trả quá nhiều tiền cho những người tham gia và dành quá nhiều thời gian trong phòng thí nghiệm.

Có thể nói rõ rằng tôi thêm người tham gia theo đợt 8 người cho đến khi tôi rời khỏi hành lang gồm hai giá trị p không? Ví dụ 0,05 <p <0,30? Hoặc làm thế nào khác, bạn muốn giới thiệu, tôi nên tiến hành?

Đầu tiên, để trả lời trực tiếp câu hỏi của bạn: không, bạn không thể cứ tiếp tục cho đến khi bạn nhận được giá trị p đáng kể. Thiết kế bạn đề xuất có tỷ lệ lỗi loại I trên 5%. Tuy nhiên, ý tưởng cơ bản là chính xác, ngoại trừ bạn phải điều chỉnh các điểm ngắt. Trên thực tế, như @cardinal đã đề cập trong các bình luận, có cả một lĩnh vực nghiên cứu cho câu hỏi của bạn: chúng được gọi là tuần tự, hoặc tuần tự nhóm, hay nói chung hơn là các thiết kế thích ứng (chúng không giống nhau, nhưng tất cả cùng dòng ý tưởng của bạn).

Dưới đây là một tài liệu tham khảo thể hiện một số ý tưởng cơ bản: C. Mehta, P. Gao, DL Bhatt, RA Harrington, S. Skerjanec, Thiết kế thử nghiệm tối ưu hóa JH Ware : Lưu hành các chiến lược tuần tự, thích ứng và làm giàu . 2009; 119: 597-605

Bạn đã xem xét việc xem xét sức mạnh trên một loạt các kích cỡ hiệu ứng? Ví dụ, tôi thường tính toán sức mạnh như một đường cong và kết thúc với vô số các kịch bản tiềm năng được đưa vào biểu đồ, sau đó tôi có thể đưa ra quyết định kích thước mẫu. Ví dụ, tôi có thể tính toán kích thước mẫu cần thiết cho các biện pháp hiệu ứng từ rất gần đến null đến cao hơn một chút so với những giấc mơ hoang dã nhất của tôi, điều này sẽ đi qua đánh giá ngang hàng.

Tôi cũng có thể vẽ các kịch bản khác, tùy thuộc vào mức độ tôi không biết về dữ liệu. Ví dụ, bên dưới là một biểu đồ tính toán sức mạnh, không phải cỡ mẫu, nhưng có một khái niệm tương tự như nó. Tôi biết rất ít về dữ liệu, vì vậy tôi đã giả định tỷ lệ sự kiện 10% cho phân tích tỷ lệ sống và sau đó tính toán sức mạnh của nghiên cứu (cỡ mẫu đã được cố định) trong một số điều kiện:

Một người thậm chí có thể thay đổi trong trường hợp này số lượng sự kiện sẽ khiến bạn có nhiều lô hoặc "Power Surface". Đó dường như là một cách nhanh hơn nhiều để có thể xử lý ít nhất là nơi bạn nên tìm kích thước mẫu, thay vì sửa đổi kích thước mẫu khi đang bay. Hoặc ít nhất cung cấp cho bạn một ngưỡng nơi bạn có thể ngừng thêm người. Ví dụ: nếu tính toán của bạn cho bạn biết 1.000 người sẽ cho bạn thấy tác động của một thứ gì đó rất nhỏ - ví dụ: tỷ lệ nguy hiểm là 1,01 hoặc tương tự - bạn biết rằng nếu bạn nhấn vào đó, bạn có thể ngừng cố gắng thêm người, bởi vì Đây không phải là vấn đề về điện, mà là vấn đề "Không có gì ở đó".

Khi thực hiện các tính toán sức mạnh, câu hỏi tôi thường đặt ra (trong lĩnh vực của tôi, cũng có những truyền thống này) có xu hướng là "Mọi người sẽ quan tâm đến mức nào?" Nếu phương pháp của bạn "tốt hơn" đáng kể với cải thiện 0,1%, có ai quan tâm không? Làm thế nào về một cải thiện 0,01%?