Làm thế nào để tính kích thước mẫu cho mô phỏng để khẳng định mức độ tốt trong kết quả của tôi?


8

Tôi là một người mới về thống kê, vì vậy xin lỗi trước nếu tôi hỏi một câu hỏi dũng cảm. Tôi đã tìm kiếm câu trả lời cho câu hỏi của mình, nhưng tôi thấy rằng nhiều chủ đề quá cụ thể hoặc nhanh chóng vượt xa những gì tôi hiện đang hiểu.

Tôi có một số công việc mô phỏng bao gồm các bộ dữ liệu lớn trở nên không khả thi để mô phỏng triệt để. Đối với các bộ dữ liệu nhỏ nhất của tôi, một lần chạy toàn diện trình bày phân phối kết quả sau đây trong tổng số 9180900 bài kiểm tra.

Kết quả / Tần suất:

  • 0 7183804
  • 1 1887089
  • 2 105296
  • 3 4571
  • 4 140

Những con số có ý nghĩa gì không quan trọng; Vấn đề là các bộ dữ liệu lớn hơn mà tôi có có thể trải qua hàng tỷ bài kiểm tra và trở nên quá tốn thời gian để chạy. Tôi cần hạn chế khối lượng công việc.

Tôi cảm thấy mình phải có thể lấy mẫu từ toàn bộ các thử nghiệm để rút ra phân phối cho mẫu và suy ra (trong một số giới hạn) rằng kết quả của một mô phỏng toàn diện sẽ thể hiện phân phối gần giống nhau. Không có sự thiên vị cố hữu trong các thử nghiệm được chạy, do đó, việc chọn ngẫu nhiên các đầu vào phải cung cấp một mẫu hợp lệ.

Điều tôi chưa hiểu là làm thế nào tôi nên chọn kích thước mẫu của mình. Cụ thể, bản phân phối thể hiện một cái đuôi kỳ lạ và tôi sợ rằng việc lấy mẫu quá nhỏ sẽ làm mất tần số thấp hơn. (140 lần xuất hiện của '4' chỉ chiếm 0,0015% dân số!)

Vì vậy, câu hỏi của tôi là, cách tốt nhất để tính kích thước mẫu mà tôi có thể khẳng định mức độ tốt trong kết quả của mình là gì?

Hoặc, tôi đang hỏi sai câu hỏi?

Câu trả lời:


6

Tôi nghĩ rằng câu trả lời cho câu hỏi của bạn là một vài câu hỏi khác: mức độ hiếm của một kết quả kiểm tra nhất định cần phải có trước khi bạn không quan tâm đến nó? Bạn muốn chắc chắn đến mức nào mà bạn thực sự sẽ tìm thấy ít nhất là thử nghiệm xuất hiện theo cách đó nếu nó xảy ra ngay tại ngưỡng mà bạn đã ngừng quan tâm đến nó. Cho những giá trị bạn có thể làm một phân tích sức mạnh. Tôi không tự tin 100% cho dù bạn có cần thực hiện phân tích sức mạnh đa cực (liên quan đến nhiều hơn một kết quả) hay không, tôi đoán là một nhị thức (có thể là thử nghiệm hiếm hay không) sẽ hoạt động tốt, ví dụ http: / /statpages.org/proppowr.html . Alpha = 0,05, Sức mạnh = 80%, Nhóm theo tỷ lệ 0, Tỷ lệ nhóm 1 .0015. Cỡ mẫu tương đối, 1; tổng cộng - ngay phía nam của 13.000 bài kiểm tra. Tại đó số lượng thử nghiệm 4s dự kiến ​​là ~ 20.

Điều đó sẽ giúp bạn tìm thấy số lượng xét nghiệm bạn cần phải phát hiện một trong những kết quả hiếm gặp đó. Tuy nhiên nếu những gì bạn thực sự quan tâm là tần số tương đối, thì vấn đề khó hơn. Tôi phỏng đoán rằng nếu bạn chỉ cần nhân N kết quả từ phân tích công suất lên 20 hoặc 30 thì bạn sẽ tìm thấy một dự đoán hợp lý.

Trong thực tế, nếu bạn không thực sự cần phải quyết định số lượng bài kiểm tra trước thời hạn, bạn có thể xem xét việc chạy thử cho đến khi bạn nhận được 20 hoặc 30 kết quả 4s. Vào thời điểm bạn nhận được nhiều 4s, bạn nên bắt đầu có một ước tính hợp lý mặc dù không phải là ước tính tuyệt đối về IMO tần số tương đối của chúng.

Cuối cùng - có sự đánh đổi giữa số lần chạy thử và độ chính xác. Bạn cần biết chính xác bạn muốn ước tính của mình như thế nào trước khi bạn thực sự có thể xác định có bao nhiêu là "đủ".


Đúng, phân tích sức mạnh. Tôi nghĩ rằng có lẽ tôi thực sự quan tâm đến tần số tương đối, tuy nhiên. Tôi cũng sẽ cố gắng đọc xung quanh đó. Không có số lượng thử nghiệm được xác định rõ ràng để chạy, tôi đã chạy 2% các thử nghiệm, được chọn ngẫu nhiên, trên mỗi bộ dữ liệu. 2% là tùy ý, nhưng cũng có thể dễ dàng trên các bộ dữ liệu lớn hơn. Điều đó có nghĩa là kích thước mẫu của tôi tăng lên theo số lượng thử nghiệm trên một tập dữ liệu, điều này có thể dẫn đến nhiều thử nghiệm hơn tôi cần trên các bộ dữ liệu lớn hơn ...
Stephen

2

Tôi nghĩ rằng phân tích sức mạnh quá phức tạp cho những gì bạn đang cố gắng thực hiện và có thể khiến bạn thất vọng.

Với kích thước mẫu ở phía bắc 9 triệu, tôi nghĩ ước tính của bạn p = Pr(X > 3) = 0.000015là khá chính xác. Vì vậy, bạn có thể sử dụng điều đó trong một mô hình nhị thức (n, p) đơn giản để ước tính kích thước mẫu.

Giả sử mục tiêu của bạn là quan sát ít nhất một sự kiện "Lớn" với xác suất 99,9%. Sau đó Pr(L > 0) = 1 - Pr(L = 0) = 1 - 0.999985^n = 0.999và kích thước mẫu mong muốn của bạn là n = ln(0.001)/ln(0.999985) = 460514.

Tất nhiên, nếu bạn cảm thấy may mắn và sẵn sàng nhận 10% cơ hội bỏ lỡ một sự kiện lớn, bạn chỉ cần một cỡ mẫu là n = 153505. Tăng gấp ba lần kích thước mẫu sẽ giảm khả năng bỏ lỡ sự kiện Lớn trong số 100, vì vậy tôi sẽ lấy 460.000.

NHƯNG ... nếu bạn đang tìm kiếm FIVE, xác suất của họ chỉ ở phía nam 1/9180902 và để quan sát ít nhất một trong số THÌ với xác suất 99,9%, bạn cần cỡ mẫu khoảng 63,4 triệu!

Hãy chú ý lời khuyên của DrKNexus về việc cập nhật ước tính xác suất của bạn cho các sự kiện lớn, vì nó có thể không phải là hằng số trên tất cả các bộ dữ liệu của bạn.


Pr (X> 3) bạn cung cấp khác với người hỏi 0,0015, bạn có thể muốn sửa lại.
russellpierce
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.