Tương tự độ nhạy và độ đặc hiệu cho kết quả liên tục

Làm cách nào tôi có thể tính toán độ nhạy và độ đặc hiệu (hoặc các biện pháp tương tự) của xét nghiệm chẩn đoán liên tục để dự đoán kết quả liên tục (ví dụ: huyết áp) mà không phân đôi kết quả? Có ý kiến gì không?

Có vẻ như các nhà nghiên cứu đã thực hiện điều này bằng cách sử dụng mô hình hiệu ứng hỗn hợp (xem liên kết bên dưới), nhưng tôi không quen với việc sử dụng kỹ thuật của họ: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3026390/

Nhân tiện, tôi quen thuộc nhất với R, vì vậy sẽ rất lý tưởng cho việc triển khai mà bạn đề xuất đi kèm với chức năng R (nhưng không sao nếu không).

Cảm ơn bạn trước cho bất cứ đề nghị!

— thông báo
nguồn

Câu trả lời:

Vì câu hỏi vẫn chưa được trả lời, đây là 2ct của tôi:
Tôi nghĩ đây là hai chủ đề khác nhau được trộn lẫn vào câu hỏi này:

Làm cách nào tôi có thể tính toán độ nhạy và độ đặc hiệu (hoặc các biện pháp tương tự) của xét nghiệm chẩn đoán liên tục để dự đoán kết quả liên tục (ví dụ: huyết áp) mà không phân đôi kết quả?

Tôi lấy nó mà bạn muốn đo hiệu suất của mô hình. Mô hình dự đoán kết quả (số liệu) liên tục từ một số loại đầu vào (cũng là số liệu trong ví dụ của bạn, nhưng điều đó không thực sự quan trọng ở đây). Đây là một kịch bản hồi quy, không phải là một phân loại. Vì vậy, bạn nên tìm kiếm các biện pháp hiệu suất cho các mô hình hồi quy, độ nhạy và độ đặc hiệu không phải là thứ bạn đang tìm kiếm *.
Một số vấn đề hồi quy có một nhóm "tự nhiên" xuất hiện và không có thứ gì đó, điều này mang lại một liên kết đến phân loại. Cho rằng bạn có thể có phân phối lưỡng kim: rất nhiều trường hợp vắng mặt và phân phối giá trị số liệu cho các trường hợp hiện diện. Ví dụ, nghĩ về một chất gây ô nhiễm một số sản phẩm. Nhiều mẫu sản phẩm sẽ không chứa chất gây ô nhiễm, nhưng đối với những mẫu đó, có thể thấy một loạt nồng độ.

Tuy nhiên, đây không phải là trường hợp ví dụ về huyết áp của bạn (không có huyết áp không phải là một khái niệm hợp lý ở đây). Tôi thậm chí còn đoán được rằng áp lực máu đến từ một sự phân phối không chính thống. Tất cả chỉ ra một vấn đề hồi quy mà không có liên kết chặt chẽ để phân loại.

* Với lời cảnh báo rằng cả hai từ được sử dụng trong hóa học phân tích để hồi quy (hiệu chuẩn), nhưng với một ý nghĩa khác: ở đó, độ nhạy là độ dốc của chức năng hiệu chuẩn / hồi quy và đôi khi cụ thể có nghĩa là phương pháp này hoàn toàn chọn lọc , rằng là nó không nhạy cảm với các chất khác ngoài chất phân tích, và không có sự nhạy cảm chéo xảy ra.
AD McNaught und A. Wilkinson, eds.: Compendium of Chemical Terminology (Sách vàng Vàng). Blackwell Khoa học, 1997. ISBN: 0-9678550-9-8. DOI: doi: 10.1351 / sổ vàng. URL: http://goldbook.iupac.org/ .

Tương tự độ nhạy và độ đặc hiệu cho kết quả liên tục

Mặt khác, nếu bản chất cơ bản của vấn đề là phân loại, tuy nhiên bạn có thể thấy mình mô tả nó tốt hơn bằng một hồi quy:

hồi quy mô tả một mức độ thuộc về các lớp (như trong các tập mờ).
các mô hình hồi quy (sau) xác suất tin vào các lớp (như trong hồi quy logistic )
trường hợp của bạn có thể được mô tả là hỗn hợp của các lớp thuần túy (rất gần với hồi quy "bình thường", ví dụ ô nhiễm ở trên)

Đối với những trường hợp này, việc mở rộng các khái niệm đằng sau độ nhạy và độ đặc hiệu của "phân loại kết quả liên tục" là điều hợp lý. Ý tưởng cơ bản là cân mỗi trường hợp theo mức độ của nó thuộc về lớp trong câu hỏi. Đối với độ nhạy và độ đặc hiệu liên quan đến nhãn tham chiếu, cho các giá trị dự đoán cho các thành viên lớp dự đoán. Nó chỉ ra rằng điều này dẫn đến một liên kết rất chặt chẽ với các biện pháp hiệu suất kiểu hồi quy.

Gần đây chúng tôi đã mô tả điều này trong C. Beleites, R. Salzer và V. Sergo:
Xác nhận các mô hình phân loại mềm bằng cách sử dụng tư cách thành viên của một phần: Một khái niệm mở rộng về độ nhạy và công ty áp dụng cho Grading of Astrocytoma Tissues
chemom. Intell. Phòng thí nghiệm. Syst., 122 (2013), 12 - 22.
Liên kết trỏ đến trang chủ của gói R thực hiện các biện pháp đo độ hoàn hảo được đề xuất.

Một lần nữa, ví dụ huyết áp IMHO không được mô tả đầy đủ như vấn đề phân loại. Tuy nhiên, bạn vẫn có thể muốn đọc bài báo - Tôi nghĩ rằng việc xây dựng các giá trị tham chiếu ở đó sẽ làm rõ rằng huyết áp không được mô tả hợp lý theo cách phù hợp để phân loại.

(Nếu bạn hình thành một mức độ "huyết áp cao" liên tục, bản thân nó sẽ là một mô hình và là một mô hình khác với vấn đề bạn mô tả.)

Tôi chỉ lướt qua tờ giấy mà bạn liên kết, nhưng nếu tôi hiểu chính xác thì các tác giả sử dụng ngưỡng (dichotomize) cho cả hai chiến lược mô hình hóa: để dự đoán liên tục được xử lý thêm: khoảng dự đoán được tính và so với ngưỡng nào đó. Cuối cùng, họ có một dự đoán phân đôi và tạo ROC bằng cách thay đổi đặc điểm kỹ thuật cho khoảng thời gian.
Khi bạn xác định rằng bạn muốn tránh điều này, bài báo dường như không liên quan quá nhiều.

— cbeleites không hài lòng với SX
nguồn

Âm thanh như thể các phương pháp trong bài báo đó rất có vấn đề. Câu hỏi ban đầu không được trả lời vì câu hỏi ngụ ý việc sử dụng phương pháp nghi vấn.

— Frank Harrell

@FrankHarrell: có, ít nhất việc đặt tên phương thức trong bài báo là sai lệch vì dự đoán cuối cùng không liên tục. Nhưng tôi hiểu việc đề cập đến bài báo cho thấy OP đã xem xét văn học và nghĩ rằng bài báo có thể giúp ích - điều mà nó không có.

— cbeleites không hài lòng với SX

Cố gắng làm điều này với các biến liên tục sẽ phơi bày các vấn đề nghiêm trọng với các biện pháp theo thứ tự thời gian ngược ngay cả trong trường hợp nhị phân (nghĩa là dự đoán X từ Y nói chung).

— Frank Mitchell
nguồn

Nó không phải là với các biện pháp trật tự thời gian ngược. Tôi chỉ tìm kiếm một sự tương tự về độ nhạy và độ đặc hiệu trong trường hợp kết quả hoặc biến phụ thuộc là liên tục.

— itpeteren

Các analog sẽ phải ngược, tức là liên quan đến sự phân bố của cho . Nếu không thì nó không giống nhau.

X

$X$

Y

$Y$

— Frank Harrell

Bạn đúng rồi; bạn đã nêu một mục tiêu rất hợp lý là theo đúng thứ tự thời gian. Sự tương tự về độ nhạy sẽ là dự đoán phơi nhiễm testosterone trước khi sinh từ mức độ gây hấn trong tương lai. Để trả lời câu hỏi của bạn, tôi sẽ sử dụng thước đo tổng quát, diện tích ROC tổng quát (nghĩa là tương quan xếp hạng của ' giữa dự đoán và quan sát) và biểu đồ mức độ xâm lược được dự đoán - càng lớn thì sự phân biệt càng nhiều .

R^{2}

$R^2$

D_{x y}

$D_{xy}$

— Frank Harrell

Đó là lý do để khái quát trong những gì tôi đã viết. tỷ lệ thuận với vùng ROC tổng quát, giảm xuống vùng ROC thông thường nếu là nhị phân. Đó là một tai nạn đáng tiếc của tự nhiên mà xác suất phù hợp có thể được bắt nguồn từ độ nhạy và độ đặc hiệu. Chỉ cần nghĩ về xác suất phù hợp tổng quát hơn (và không nhìn ngược) giữa và ( -index; bằng diện tích ROC trong trường hợp nhị phân ). Xác suất tích phân (dễ dàng mô tả cho liên tục ) hoặc khu vực ROC có thể được sử dụng mà không cần tạo đường cong ROC. Không cần dự đoán quá khứ từ tương lai.

D_{x y}

$D_{xy}$

Y

$Y$

X

$X$

Y

$Y$

c

$c$

Y

$Y$

Y

$Y$

— Frank Mitchell

Tôi R Hmiscvà rmscác gói xử lý này. Trong Hmiscxem rcorr.censchức năng.

— Frank Harrell

Được thực hiện một cách lỏng lẻo, sự nhạy cảm có nghĩa là khả năng đáp ứng với một cái gì đó nếu nó hiện diện và tính đặc hiệu có nghĩa là khả năng ngăn chặn phản ứng khi nó vắng mặt. Đối với các biến liên tục, độ nhạy tương ứng với độ dốc của hồi quy của các số đo thu được trên các giá trị thực của biến được đo và độ đặc hiệu tương ứng với sai số chuẩn của phép đo (nghĩa là độ lệch chuẩn của các số đo thu được khi đo đại lượng không thay đổi).

EDIT, trả lời các bình luận của Frank Harrell và cbeleites. Tôi đã cố gắng đưa ra các khái niệm tương tự về độ nhạy và độ đặc hiệu. Đối với các biến liên tục, ý tưởng cơ bản về độ nhạy là nếu hai đối tượng (hoặc cùng một đối tượng tại các thời điểm khác nhau hoặc trong các điều kiện khác nhau, v.v.) khác nhau về biến chúng ta đang cố gắng đo, thì các biện pháp thu được của chúng ta cũng sẽ khác nhau, với sự thật lớn hơn sự khác biệt dẫn đến sự khác biệt lớn hơn đo lường.

Hồi quy của bất kỳ biến, nói , trên bất kỳ khác, nói , chỉ đơn giản là giá trị kỳ vọng có điều kiện, , coi như là một chức năng của . Độ nhạy của so với là độ dốc của hàm đó - nghĩa là đạo hàm của nó đối với - được đánh giá ở bất kỳ giá trị nào của đều đáng quan tâm và có thể tính trung bình với các trọng số phản ánh mức độ quan trọng hoặc tần suất xuất hiện khác nhau -values. $Y$ $X$ $\mathrm{E}\,Y|X$ $X$ $Y$ $X$ $X$ $X$ $X$

Ý tưởng cơ bản về tính đặc hiệu là độ nhạy của độ nhạy: nếu có độ đặc hiệu cao và không có sự khác biệt thực sự trên thì tất cả các giá trị đo được của chúng ta phải giống nhau, bất kể có sự khác biệt nào giữa các đối tượng trên các biến khác với ; không nên đáp lại những khác biệt đó. Khi không đổi, độ biến thiên cao hơn giữa các giá trị hàm ý độ đặc hiệu thấp hơn. Độ lệch chuẩn có điều kiện - nghĩa là sd của , một lần nữa được coi là hàm của $Y$ $X$ $Y$ $X$ $Y$ $X$ $Y$ $Y|X$ $X$ - là một thước đo ngược của tính đặc hiệu. Tỷ lệ độ dốc có điều kiện so với sd có điều kiện là tỷ lệ tín hiệu trên tạp âm và bình phương của nó được gọi trong tâm lý học là hàm thông tin.

— Ray Koopman
nguồn

Điều đó có vẻ không đúng lắm. Tính đặc hiệu không liên quan đến phương sai và cảm giác. và thông số kỹ thuật. chỉ áp dụng cho số lượng nhị phân.

— Frank Mitchell

@Ray: ý nghĩa / định nghĩa của cả hai thuật ngữ hồi quy (hiệu chuẩn hóa học) rất khác với ý nghĩa của chúng trong phân loại nên điều này IMHO nên nhấn mạnh hơn. Tôi chưa bao giờ nghe về định nghĩa của bạn về tính cụ thể, mặc dù. Bạn có thể cho một tài liệu tham khảo?

— cbeleites không hài lòng với SX