Kiểm tra tỷ lệ và phân loại nhị phân

Tôi có một máy nguyên mẫu sản xuất các bộ phận.

Trong thử nghiệm đầu tiên, máy tạo ra các bộ phận và bộ phân loại nhị phân cho tôi biết rằng các bộ phận bị lỗi ( , thường là và ) và các bộ phận là tốt.$N_1$$d_1$$d_1 < N_1$$d_1/N_1<0.01$$N_1\approx10^4$$N_1-d_1$

Sau đó, một kỹ thuật viên thực hiện một số thay đổi trong máy để giảm số lượng các bộ phận bị lỗi.

Trong thử nghiệm thứ hai và tiếp theo, máy được sửa đổi tạo ra các phần và cùng một bộ phân loại nhị phân (chưa được xử lý) cho tôi biết rằng các phần bị lỗi, dù sao thì khá giống với .$N_2$$d_2$$d_2/N_2$$d_1/N_1$

Kỹ thuật viên muốn biết liệu những thay đổi của anh ấy có hiệu quả không.

Giả sử rằng các phân loại là hoàn hảo (độ nhạy của nó là 100% và độ đặc hiệu của nó là 100%), tôi có thể thực hiện kiểm tra tỷ lệ (với R, tôi chỉ cần gõ prop.test(c(d1,d2),c(N1,N2))).

Nhưng bộ phân loại không hoàn hảo, vậy làm cách nào tôi có thể tính đến độ nhạy và độ đặc hiệu, cả hai chưa biết, của bộ phân loại để trả lời đúng cho kỹ thuật viên?

Vì vậy, tôi nhận được điều này từ các nguyên tắc đầu tiên, và do đó không chắc chắn nó là chính xác. Đây là suy nghĩ của tôi:

EDIT: Điều này không hoàn toàn đúng trước đây. Tôi đã cập nhật nó.

1. Hãy để biểu thị sự khác biệt dự kiến ​​giữa số lượng dương thực sự và đầu ra số theo phân loại nhị phân mà chúng ta sẽ gọi là . Bạn có thể đo lường điều này bằng cách chạy trình phân loại của mình trên một tập hợp với các nhãn đã biết. Trừ số lượng dương thực tế khỏi số lượng dương được tạo bởi bộ phân loại, sau đó chia cho để lấy .$\alpha$$d_1$$\hat{d_1}$$N$$\alpha$

2. Vì vậy, ước tính điểm cho tỷ lệ thực tế của các bộ phận bị lỗi được đưa ra bởi: . Đó là, số lượng các bộ phận bị lỗi được quan sát, ít hơn số lượng dương tính giả dự kiến, cộng với số lượng âm tính giả dự kiến.$\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$

3. Tương tự,$\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$

4. Vì vậy, bây giờ hãy làm một bài kiểm tra chống đỡ. Trong thử nghiệm chống đỡ tiêu chuẩn, trước tiên chúng tôi tính tỷ lệ gộp được sử dụng làm giá trị null: . Vì vậy, ở đây, chúng tôi đưa vào ước tính điểm của chúng tôi về và để nhận:$p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$$\hat{\frac{d_1}{N_1}}$$\hat{\frac{d_2}{N_2}}$$p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$

5. Và sau đó, lỗi tiêu chuẩn chỉ là thông thường:$\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$

6. Và thống kê kiểm tra là như nhau:$z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Một số suy nghĩ về giải thích:

• Mô hình có thể tạo ra các giá trị tưởng tượng cho lỗi tiêu chuẩn. Điều này sẽ xảy ra khi , đây sẽ là trường hợp khi số lỗi chúng tôi mong đợi các bộ phân loại tạo ra vượt quá số lượng chúng tôi quan sát được. Ví dụ: giả sử rằng chúng tôi hy vọng bộ phân loại của chúng tôi tạo ra trung bình 5 dương ngay cả khi được cung cấp một mẫu không chứa dương. Nếu chúng ta quan sát 4 điểm tích cực, thì dường như không có tín hiệu: Kết quả của chúng tôi không thể phân biệt được với tiếng ồn do bộ phân loại tạo ra. Trong trường hợp này, chúng tôi không nên bác bỏ giả thuyết khống, tôi nghĩ vậy.$p < 0$

• Một cách khác để suy nghĩ về điều này là, nếu số lượng bộ phận bị lỗi nằm trong phạm vi lỗi của bộ phân loại thì tất nhiên chúng ta không thể biết liệu có sự khác biệt hay không: chúng ta thậm chí không thể biết liệu có bộ phận nào bị lỗi hay không!

Kết hợp các lỗi trong ước tính của :$\alpha$

• Tôi đã nghĩ về điều này nhiều hơn nữa và tôi nghĩ có một số cách bạn có thể làm điều này, nhưng về cơ bản bạn muốn có được ước tính về phân phối của . Lý tưởng nhất là bạn sẽ thực hiện việc mua này lặp lại quy trình của mình để có được ước tính trên một mẫu đại diện của các tập dữ liệu mà bạn dự định sử dụng phương pháp này. Nếu điều này là không thể, bạn có thể bootstrap trên một tập dữ liệu duy nhất bằng cách lấy mẫu từ nó, mặc dù điều này không lý tưởng trừ khi datset duy nhất của bạn là đại diện cho tất cả các bộ bạn quan tâm.$\alpha$$\alpha$

Giả sử rằng chúng ta muốn tính khoảng tin cậy với độ tin cậy là .$h$

• Tính toán thực nghiệm khoảng tin cậy so với bằng cách sử dụng phân phối bootstrapping. Cắm từng điểm cuối vào quy trình ở trên, sử dụng nó làm ước tính điểm (rất bảo thủ hoặc rất tự do) cho và tìm khoảng tin cậy để ước tính tỷ lệ chênh lệch bằng cách sử dụng thử nghiệm prop . Giả sử rằng chúng ta nhận được các khoảng ( và là các khoảng cho các giá trị thấp hơn và cao hơn của . Sau đó, khoảng (chứa cả hai khoảng trước đó) phải là (1-h) * 100% CI cho sự khác biệt về tỷ lệ ... Tôi nghĩ ...$\frac{h}{2}$$\alpha$$\alpha$$\frac{h}{2}$$low_l, low_r)$$(high_l, high_r)$$\alpha$$(high_l,low_r)$

Lưu ý: Trong phần trên tôi giả sử kiểm tra 1 mặt. Bạn chia h cho 2 để giải thích cho thực tế rằng bạn đang kiểm tra hai giả thuyết độc lập ( nằm trong khoảng thời gian bạn nghĩ và thống kê kiểm tra là một sự khác biệt đáng kể). Nếu bạn muốn làm một bài kiểm tra hai đuôi, thay vào đó chia cho 4.$\alpha$