So sánh 0/10 với 0/20

Khi thảo luận về tỷ lệ thành tích nhiệm vụ, có cách nào để chỉ ra rằng 0 trong số 20 lần thử là "tệ hơn" so với 0 trên 10 lần thử không?

Giả sử chúng ta biết xác suất thành công trong một nỗ lực. Trong trường hợp này, chúng tôi tính xác suất 0 trên 10 và 0 trong số 20 trường hợp.

Tuy nhiên, trong trường hợp này, chúng tôi đi theo cách khác. Chúng tôi không biết xác suất, chúng tôi có dữ liệu và chúng tôi cố gắng ước tính xác suất.

Chúng ta càng có nhiều trường hợp, chúng ta càng chắc chắn về kết quả. Nếu tôi lật một đồng xu và nó sẽ đứng đầu, bạn sẽ không chắc chắn rằng đó là đầu kép. Nếu tôi ném nó 1.000 lần và tất cả sẽ là đầu, không chắc là nó cân bằng.

Có những phương pháp được thiết kế để xem xét số lượng đường mòn khi đưa ra ước tính. Một trong số đó là làm mịn phụ gia mà @abukaj bình luận ở trên. Trong làm mịn phụ gia, chúng tôi thêm các mẫu giả bổ sung vào xem xét. Trong trường hợp của chúng tôi, thay vì theo dấu vết, chúng tôi đã thấy chúng tôi thêm hai lần nữa - một thành công và một thất bại.

• Trong trường hợp đầu tiên, xác suất được làm mịn sẽ là = ~ 8.3%$\frac{1+0}{10 +1 +1}$$\frac{1}{12}$
• Trong trường hợp thứ hai, chúng tôi sẽ nhận được = ~ 4.5%$\frac{1+0}{20 +1 +1}$$\frac{1}{22}$

Lưu ý rằng làm mịn phụ gia chỉ là một phương pháp ước tính. Bạn sẽ nhận được kết quả khác nhau với các phương pháp khác nhau. Ngay cả với việc làm mịn phụ gia, bạn sẽ nhận được kết quả khác nhau nếu bạn thêm 4 mẫu giả.

Một phương pháp khác là sử dụng khoảng tin cậy như @mdewey đề xuất. Chúng ta càng có nhiều mẫu, khoảng tin cậy sẽ càng ngắn. Kích thước của khoảng tin cậy tỷ lệ thuận với căn bậc hai của các mẫu - . Do đó, nhân đôi số lượng mẫu sẽ dẫn đến khoảng tin cậy ngắn hơn .$\frac{1}{\sqrt{n}}$$\sqrt{2}$

Giá trị trung bình trong cả hai trường hợp là 0. Chúng tôi lấy mức tin cậy là 90% (z = 1.645)

• Trong trường hợp đầu tiên, chúng tôi sẽ nhận được 0 + ~ 52%$\frac{1.645}{\sqrt{10}}$
• Trong trường hợp thứ hai, chúng tôi sẽ nhận được 0 + ~ 36%$\frac{1.645}{\sqrt{20}}$

Trong trường hợp thiếu dữ liệu, có sự không chắc chắn. Các giả định bạn đưa ra và dữ liệu ngoài bạn sẽ sử dụng sẽ thay đổi những gì bạn sẽ nhận được.

Mở rộng ý tưởng về việc gọi các khoảng tin cậy, có một khái niệm về một khoảng nhị thức chính xác.

Phân phối nhị thức là tổng số thành công trong các thử nghiệm độc lập kết thúc bằng 0 (thất bại) hoặc 1 (thành công). Xác suất đạt được 1 (thành công) được ký hiệu theo truyền thống là và phần bù của nó là . Sau đó, kết quả xác suất chuẩn là xác suất của thành công chính xác trong thử nghiệm làq = 1 - p k $p$$q=1-p$$k$$n$

$$p_{n,k} = {n \choose k} p^k q^{n-k} = \frac{n!}{k!(n-k)!} p^k q^{n-k}$$

Khái niệm về khoảng tin cậy là ràng buộc một tập hợp các giá trị có thể có của các tham số mô hình (ở đây, xác suất thành công ) để chúng ta có thể đưa ra các tuyên bố xác suất (tốt, thường xuyên ) về việc liệu giá trị tham số thực có nằm trong khoảng này không (cụ thể là , rằng nếu chúng ta lặp lại thí nghiệm xác suất thực hiện 10 hoặc 20 thử nghiệm và xây dựng khoảng tin cậy theo một cách cụ thể, chúng ta sẽ quan sát thấy giá trị thực của tham số nằm trong khoảng 95% thời gian).$p$

Trong trường hợp này, chúng ta có thể giải cho công thức đó: $p$

$$p_{n,0}=(1-p)^n$$

Vì vậy, nếu chúng tôi muốn khoảng 95% một phía, chúng tôi sẽ đặt để giải quyết xác suất của số 0 được quan sát là tối đa 5%. Với , câu trả lời là (nghĩa là ở mức cực đoan, nếu xác suất thành công trong mỗi thử nghiệm là 13,9%, thì xác suất quan sát thành công bằng 0 là 5%). Với , câu trả lời là . Vì vậy, từ một mẫu , chúng tôi đã học được nhiều hơn từ mẫu , theo nghĩa là chúng tôi có thể `` loại trừ '' phạm vi rằng mẫu của vẫn lá như hợp lý.$p_{n,0}=5\%$$n=20$$[0\%,13.9\%]$$n=10$$[0\%,25.9\%]$$n=20$$n=10$$[13.9\%,25.9\%]$$n=10$

Cách tiếp cận Bayes

• Đặt cho là một chuỗi các biến ngẫu nhiên IID Bernoulli với tham số .$X_i$$i=1,\ldots n$$p$
• Hãy để chúng tôi đại diện cho sự không chắc chắn của chúng tôi về tham số bằng cách giả sử nó tuân theo phân phối Beta với siêu đường kính và .$p$ $\alpha$$\beta$

Hàm khả năng là Bernoulli và phân phối Beta là liên hợp trước khi phân phối Bernoulli, do đó, hậu thế tuân theo phân phối Beta. Hơn nữa, hậu thế được tham số hóa bởi:

$$\hat{\alpha} = \alpha + \sum_{i=1}^n X_i \quad \quad \hat{\beta} = \beta + n - \sum_{i=1}^n X_i$$

Hậu quả là:

$$\begin{align*} \mathrm{E}[p \mid X_1, \ldots, X_n] &= \frac{\hat{\alpha}}{\hat{\alpha} + \hat{\beta}}\\ &= \frac{\alpha + \sum_{i=1}^n X_i }{\alpha + \beta + n} \end{align*}$$

Do đó, nếu bạn thấy 10 lần thất bại, kỳ vọng của bạn về là và nếu bạn thấy 20 lần thất bại, thì kỳ vọng của bạn về là . Bạn càng thấy nhiều thất bại, kỳ vọng của bạn về .$p$$\frac{\alpha}{\alpha + \beta + 10}$$p$$\frac{\alpha}{\alpha + \beta + 20}$$p$

Đây có phải là một lý lẽ hợp lý? Nó phụ thuộc vào cách bạn cảm nhận về thống kê Bayes, cho dù bạn có sẵn sàng mô hình tính không chắc chắn đối với một số tham số bằng cách sử dụng cơ chế xác suất. Và nó phụ thuộc vào mức độ hợp lý của sự lựa chọn của bạn trước.$p$