d nguyên tố với xác suất tỷ lệ trúng 100% và xác suất báo động sai 0%


10

Tôi muốn tính d nguyên tố cho một nhiệm vụ bộ nhớ liên quan đến việc phát hiện các mục cũ và mới. Vấn đề tôi gặp phải là một số đối tượng có tỷ lệ trúng là 1 và / hoặc tỷ lệ cảnh báo sai là 0, điều này làm cho xác suất lần lượt là 100% và 0%.

Công thức của d Primed' = z(H) - z(F), trong đó z(H)z(F)là các biến đổi z của tỷ lệ trúng và báo động sai, tương ứng.

Để tính toán biến đổi z, tôi sử dụng hàm Excel NORMSINV (nghĩa là z(H)=NORMSINV(hit rate)). Tuy nhiên, nếu tỷ lệ nhấn hoặc tỷ lệ cảnh báo sai lần lượt là 1 hoặc 0, thì hàm sẽ trả về lỗi. Điều này là do biến đổi z, theo tôi hiểu, chỉ ra khu vực dưới đường cong ROC, về mặt toán học không cho phép xác suất 100% hoặc 0%. Trong trường hợp này, tôi không chắc cách tính d 'cho các đối tượng có hiệu suất trần.

Một trang web đề nghị thay thế tỷ lệ 1 và 0 bằng 1 - 1 / (2N) và 1 / 2N bằng N là số lần truy cập và cảnh báo sai tối đa. Một trang web khác nói "không phải H hay F có thể là 0 hoặc 1 (nếu vậy, hãy điều chỉnh tăng hoặc giảm nhẹ)". Điều này có vẻ độc đoán. Có ai có ý kiến ​​về điều này hoặc muốn chỉ cho tôi các tài nguyên phù hợp?

Câu trả lời:


13

Stanislaw & Todorov (1999) có một cuộc thảo luận tốt về vấn đề này dưới tiêu đề Hit và Tỷ lệ báo động sai của Zero hoặc One .

Họ thảo luận về ưu và nhược điểm của một số phương pháp để xử lý các giá trị cực đoan này, bao gồm:

  • Ad

  • Dữ liệu tổng hợp từ nhiều đối tượng trước khi tính toán thống kê (Macmillan & Kaplan, 1985)

  • thêm 0,5 vào cả số lần truy cập và số lần báo động sai và thêm 1 vào cả số lần thử tín hiệu và số lần thử tiếng ồn; được mệnh danh là phương pháp loglinear (Hautus, 1995)

  • 0.5/n(n0.5)/nn

Ad


MacMillan & Kaplan là một tài liệu tham khảo phổ biến nhưng tôi tin rằng có một tác giả người Hy Lạp hoặc người Nga đi trước họ cho cùng một lời khuyên ... tên quá dài để tôi nhớ. Cái nhìn nhanh của tôi về S & T là nó không toàn diện nhưng nó nhắc nhở tôi rằng có lẽ tôi đã nhầm khi không đề cập đến A '. Tất nhiên, một khi bạn làm điều đó, bạn phải giải thích những gì nó thực sự có nghĩa là chuyển sang không tham số.
John

6

Cả hai trang web đều đề xuất một điều giống nhau nhưng một người đang đặt ra một cách để liên tục chọn số lượng điều chỉnh. Điều này đã được quy cho một số người nhưng tôi không nghĩ có ai biết ai thực sự nghĩ ra nó trước. Các lĩnh vực khác nhau có một cuốn sách hoặc tác giả khác nhau về phát hiện tín hiệu. Điều quan trọng là phương pháp bạn chọn là hợp lý.

Một phương pháp bạn đã đăng thường được thực hiện để ngụ ý rằng nếu bạn có một bộ vật phẩm lớn hơn nhiều (2N) thì bạn sẽ có thể phát hiện ít nhất một lỗi. Nếu đây là một cách hợp lý để suy nghĩ về vấn đề thì bạn đã hoàn thành. Tôi nghi ngờ nó là cho một bài kiểm tra trí nhớ. Trong tương lai bạn có thể muốn tăng N để đảm bảo điều này ít xảy ra hơn. Tuy nhiên, phương pháp này có thể cứu vãn được nếu bạn xem nó là một cách khác. Bạn đang điều chỉnh trên mức trung bình giả thuyết của hai lần chạy cùng số lượng mục bộ nhớ. Trong trường hợp đó, bạn đang nói rằng trong một lần thử nghiệm khác (giả sử các mục mới hoặc họ quên tất cả các mục cũ) sẽ có một lỗi. Hoặc đơn giản hơn, bạn chỉ cần chọn một nửa giữa điểm không hoàn hảo cao nhất mà bạn có thể đo được và điểm hoàn hảo.

Đây là một vấn đề không có giải pháp phổ quát đơn giản. Câu hỏi đầu tiên bạn cần hỏi là liệu bạn có tin, trong trường hợp của bạn, bạn có phân loại hoàn hảo thực sự hay không. Trong trường hợp đó dữ liệu của bạn là dữ liệu của bạn. Nếu không, thì bạn tin rằng đó chỉ là sự thay đổi trong mẫu khiến số lần truy cập là 100%. Khi bạn kết luận đó là trường hợp thì bạn phải xem xét các cách hợp lý để tạo ước tính về những gì bạn tin là '. Và vì vậy bạn phải tự hỏi nó thực sự là gì.

Cách dễ nhất để xác định d 'nên là gì khi xem xét các dữ liệu khác trong cùng điều kiện đó. Có lẽ bạn có thể ước tính rằng độ chính xác cho một người tham gia này là một nửa giữa giá trị tốt nhất tiếp theo mà bạn có và 100% (có thể chính xác giống như giá trị bạn tìm thấy). Hoặc, nó có thể là một số lượng rất nhỏ lớn hơn. Hoặc nó chỉ có thể bằng với các giá trị tốt nhất. Bạn phải chọn những gì bạn tin là câu trả lời tốt nhất dựa trên dữ liệu của bạn. Một câu hỏi cụ thể hơn được đăng có thể giúp bạn ở đây.

Bạn nên cố gắng đảm bảo bạn làm là tạo ra càng ít ảnh hưởng đến tiêu chí càng tốt. Trong trường hợp của bạn, việc điều chỉnh các lần truy cập và FA sẽ khiến tiêu chí không thay đổi chút nào. Tuy nhiên, nếu bạn điều chỉnh lượt truy cập khi nói, FA = 0,2, thì bạn phải cẩn thận về cách điều chỉnh đó sẽ ảnh hưởng đến việc giải thích tiêu chí. Bạn thuộc loại bắt buộc trong trường hợp đó để đảm bảo lượt truy cập rất cao.


Cảm ơn bạn cho quan điểm và lý do của bạn, John. Điều đó thực sự có ích. Tôi nên nói thêm rằng số N tăng lên là một giải pháp tốt nhưng nhiệm vụ của chúng tôi được thực hiện bên trong máy quét fMRI và chúng tôi bị giới hạn bởi có bao nhiêu thử nghiệm mà chúng tôi có thể thực hiện trước khi chúng lo lắng và làm hỏng dữ liệu của chúng tôi bằng chuyển động.
A.Rainer

"Bạn có thể ước tính rằng độ chính xác cho một người tham gia này là một nửa giữa giá trị tốt nhất tiếp theo mà bạn có và 100% (có thể chính xác giống như giá trị bạn tìm thấy)" là lời khuyên tốt. Điều này sẽ duy trì thứ tự của xếp hạng hiệu suất chủ đề.
A.Rainer
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.