Có hợp lệ để phân tích dữ liệu phát hiện tín hiệu mà không sử dụng các số liệu có nguồn gốc từ lý thuyết phát hiện tín hiệu không?

Một thí nghiệm phát hiện tín hiệu thường trình bày cho người quan sát (hoặc hệ thống chẩn đoán) tín hiệu hoặc không phải tín hiệu và người quan sát được yêu cầu báo cáo xem họ nghĩ rằng vật phẩm được trình bày là tín hiệu hay không phải là tín hiệu. Các thí nghiệm này mang lại dữ liệu điền vào ma trận 2x2:

Lý thuyết phát hiện tín hiệu đại diện cho dữ liệu như thể hiện một kịch bản trong đó quyết định "tín hiệu / không tín hiệu" dựa trên tính liên tục của tín hiệu mà các thử nghiệm tín hiệu thường có giá trị cao hơn các thử nghiệm không tín hiệu và người quan sát chỉ đơn giản là người quan sát chọn một giá trị tiêu chí ở trên mà họ sẽ báo cáo "tín hiệu":

Trong sơ đồ trên, các phân phối màu xanh lá cây và màu đỏ tương ứng là các phân phối "tín hiệu" và "không tín hiệu" và đường màu xám biểu thị tiêu chí đã chọn của người quan sát. Ở bên phải của đường màu xám, khu vực dưới đường cong màu xanh lá cây đại diện cho các lần truy cập và khu vực dưới đường cong màu đỏ đại diện cho các báo động sai; ở bên trái của đường màu xám, khu vực dưới đường cong màu xanh lá cây phản hồi lại bỏ lỡ và khu vực dưới đường cong màu đỏ biểu thị sự từ chối chính xác.

Như có thể tưởng tượng, theo mô hình này, tỷ lệ phản hồi rơi vào từng ô của bảng 2x2 ở trên được xác định bởi:

1. Tỷ lệ tương đối của các thử nghiệm được lấy mẫu từ các phân phối xanh và đỏ (tỷ lệ cơ sở)
2. Tiêu chí được lựa chọn bởi người quan sát
3. Sự tách biệt giữa các bản phân phối
4. Phương sai của mỗi phân phối
5. Bất kỳ sự rời khỏi sự bình đẳng của phương sai giữa các phân phối (sự bình đẳng của phương sai được mô tả ở trên)
6. Hình dạng của mỗi phân phối (cả hai đều là Gaussian ở trên)

Thông thường, ảnh hưởng của # 5 và # 6 chỉ có thể được đánh giá bằng cách khiến người quan sát đưa ra quyết định theo một số mức tiêu chí khác nhau, vì vậy chúng ta sẽ bỏ qua điều đó ngay bây giờ. Ngoài ra, # 3 và # 4 chỉ có ý nghĩa liên quan đến nhau (ví dụ: sự phân tách lớn như thế nào so với độ biến thiên của các bản phân phối?), Được tóm tắt bằng một thước đo "phân biệt đối xử" (còn được gọi là d '). Do đó, lý thuyết phát hiện tín hiệu đăng ký ước tính hai thuộc tính từ dữ liệu phát hiện tín hiệu: tiêu chí & phân biệt đối xử.

Tuy nhiên, tôi thường nhận thấy rằng các báo cáo nghiên cứu (đặc biệt là từ lĩnh vực y tế) không áp dụng khung phát hiện tín hiệu và thay vào đó cố gắng phân tích các đại lượng như "Giá trị tiên đoán tích cực", "Giá trị dự báo âm tính", "Độ nhạy" và "Độ đặc hiệu" ", Tất cả đều đại diện cho các giá trị biên khác nhau từ bảng 2x2 ở trên ( xem tại đây để biết thêm chi tiết ).

Những tiện ích nào làm cho các thuộc tính cận biên này cung cấp? Quan điểm của tôi là coi thường họ hoàn toàn vì họ làm ảnh hưởng đến ảnh hưởng độc lập về mặt lý thuyết của tiêu chí và sự phân biệt đối xử, nhưng có lẽ tôi chỉ đơn giản là thiếu trí tưởng tượng để xem xét lợi ích của họ.

Ảnh hưởng Dự đoán Tích cực (PPV) không phải là một biện pháp tốt, không chỉ bởi vì nó gây nhiễu cả hai cơ chế (phân biệt đối xử và thiên vị đáp ứng), mà còn vì tỷ lệ cơ sở của mặt hàng. Tốt nhất là sử dụng các xác suất sau, như P (signal | "yes"), chiếm tỷ lệ cơ sở của vật phẩm:

$P(signal|yes) = \frac{P(signal)P(Hit)}{P(signal)P(Hit)+P(noise)P(False Alarm)}$

but... what is it good for?? well, it is useful for adjusting the response criteria in order to maximize/minimize a the probability of a specific outcome. So, it is complementary to the sensitivity and response bias measures in the sense that it helps to summarize the outcomes of changes in response bias.

A word of advice: if you are sticking with 2x2 outcome matrix that basically only allows you to get a sensitivity measure like d', don't even bother with SDT and just use Hits-False Alarms. Both measures (d' and (H-F)) have a correlation of .96 (no matter what BS detection theorists might come up with)

hope this helps cheers

Bạn đang so sánh "Xác suất kết quả xét nghiệm dương tính là chính xác với mức độ phổ biến và tiêu chí thử nghiệm đã biết là bao nhiêu?" với "Độ nhạy và độ lệch của một hệ thống chưa biết đối với các tín hiệu khác nhau thuộc loại này là gì?"

It seems to me that the two both use some similar theory but they really have very different purposes. With the medical tests criterion is irrelevant. It can be set to a known value in many cases. So, determining the criterion of the test is pointless afterwards. Signal detection theory is best for systems where criterion is unknown. Furthermore, prevalence, or signal, tends to be a fixed (and often very small) value. With SDT you often work out a mean d' over varying signals modelling a very complex situation as a few simple descriptors. When both the criterion and signal are fixed known quantities can SDT tell you anything interesting? It seems like a lot of mathematical sophistication to deal with a fundamentally simpler problem.

Đây có thể là một sự đơn giản hóa quá mức, nhưng độ đặc hiệu và độ nhạy là thước đo hiệu suất và được sử dụng khi không có bất kỳ kiến ​​thức khách quan nào về bản chất của tín hiệu. Ý tôi là mật độ của bạn so với biểu đồ tín hiệu giả định một biến số định lượng tín hiệu. Đối với dữ liệu chiều rất cao hoặc vô hạn và không có lý thuyết chặt chẽ, có thể chứng minh được về cơ chế tạo tín hiệu, việc lựa chọn biến là không tầm thường. Sau đó, câu hỏi đặt ra là tại sao sau khi chọn một biến như vậy, các thuộc tính thống kê của nó, giống như giá trị trung bình và phương sai của tín hiệu và tín hiệu không được định lượng. Trong nhiều trường hợp, biến có thể không chỉ bình thường, Poisson hoặc phân bố theo cấp số nhân. Nó thậm chí có thể là không tham số, trong trường hợp đó định lượng sự phân tách là khác biệt trung bình so với phương sai, v.v. không có ý nghĩa nhiều. Ngoài ra, rất nhiều tài liệu trong lĩnh vực y sinh tập trung vào các ứng dụng và ROC, độ đặc hiệu, v.v., có thể được sử dụng làm tiêu chí khách quan để so sánh các phương pháp tiếp cận về bản chất hạn chế của vấn đề, và về cơ bản đó là tất cả. bắt buộc. Đôi khi mọi người có thể không quan tâm đến việc mô tả, nói rằng sự phân phối log-gamma phiên bản rời rạc của tỷ lệ của sự phong phú của bản sao gen1 so với gen2 ở các đối tượng bị bệnh so với đối tượng kiểm soát, thay vào đó, điều quan trọng duy nhất là liệu điều này có tăng hay không và mức độ sai lệch của kiểu hình hoặc xác suất bệnh nó giải thích. có thể được sử dụng làm tiêu chí khách quan để so sánh các phương pháp tiếp cận về bản chất hạn chế của vấn đề và về cơ bản đó là tất cả những gì cần thiết. Đôi khi mọi người có thể không quan tâm đến việc mô tả, nói rằng sự phân phối log-gamma phiên bản rời rạc của tỷ lệ của sự phong phú của bản sao gen1 so với gen2 ở các đối tượng bị bệnh so với đối tượng kiểm soát, thay vào đó, điều quan trọng duy nhất là liệu điều này có tăng hay không và mức độ sai lệch của kiểu hình hoặc xác suất bệnh nó giải thích. có thể được sử dụng làm tiêu chí khách quan để so sánh các phương pháp tiếp cận về bản chất hạn chế của vấn đề và về cơ bản đó là tất cả những gì cần thiết. Đôi khi mọi người có thể không quan tâm đến việc mô tả, nói rằng sự phân phối log-gamma phiên bản rời rạc của tỷ lệ của sự phong phú của bản sao gen1 so với gen2 ở các đối tượng bị bệnh so với đối tượng kiểm soát, thay vào đó, điều quan trọng duy nhất là liệu điều này có tăng hay không và mức độ sai lệch của kiểu hình hoặc xác suất bệnh nó giải thích.