Xác định độ chính xác của mô hình ước tính xác suất của sự kiện

Tôi đang lập mô hình một sự kiện với hai kết quả, a và b. Tôi đã tạo một mô hình ước tính xác suất xảy ra a hoặc b (tức là mô hình sẽ tính toán rằng điều đó sẽ xảy ra với 40% cơ hội và b sẽ xảy ra với 60% cơ hội).

Tôi có một hồ sơ lớn về kết quả của các thử nghiệm với các ước tính từ mô hình. Tôi muốn định lượng mức độ chính xác của mô hình đang sử dụng dữ liệu này - điều này có thể không, và nếu có thì như thế nào?

predictive-models scoring-rules

— Peter
nguồn

Tôi có thể sai nhưng tôi nghĩ rằng bạn quan tâm đến việc đào tạo và / hoặc kiểm tra lỗi của mô hình của bạn. Xem, ví dụ: cs.ucla.edu/~falaki/pub/ classification.pdf

— Stijn

@Stijn Anh ấy dự đoán xác suất mặc dù thay vì trực tiếp phân loại là a hoặc b, vì vậy tôi không nghĩ những số liệu đó là những gì anh ấy yêu cầu.

— Michael McGowan

Bạn có quan tâm nhiều hơn đến việc mô hình cuối cùng sẽ hoạt động tốt như thế nào để phân loại (trong trường hợp đó loại phân tích ROC và AUC có vẻ phù hợp nhất ( en.wikipedia.org/wiki/Receiver_operating_characteristic )? Hoặc bạn quan tâm hơn đến việc hiểu cách "hiệu chỉnh" dự đoán xác suất là (nghĩa là P (Kết quả = A) = 60% thực sự có nghĩa là 60%, hoặc chỉ kết quả đó = A có nhiều khả năng hơn các kết quả khác ...

— DavidR

Có vẻ như bạn muốn biết về xác suất ghi bàn .

— whuber

Elvis, một bài báo trong số phân tích Quyết định hiện tại đã thu hút sự chú ý của tôi đến việc xác suất ghi điểm. Nó xuất hiện để xây dựng trên văn học đáng kể về chủ đề này. (Tuy nhiên, tôi không có quyền truy cập nhiều hơn bản tóm tắt, vì vậy tôi không thể nhận xét về bài báo đó.) Một trang bìa của các biên tập viên của tạp chí ( có sẵn miễn phí ) đề cập đến một số bài viết trước đó về cùng một chủ đề.

— whuber

Giả sử mô hình của bạn thực sự dự đoán A có 40% cơ hội và B có 60% cơ hội. Trong một số trường hợp, bạn có thể muốn chuyển đổi điều này thành một phân loại mà B sẽ xảy ra (vì nó có nhiều khả năng hơn A). Sau khi được chuyển đổi thành phân loại, mọi dự đoán đều đúng hoặc sai, và có một số cách thú vị để kiểm đếm những câu trả lời đúng và sai. Một là độ chính xác thẳng (tỷ lệ phần trăm của câu trả lời đúng). Những người khác bao gồm độ chính xác và thu hồi hoặc F-đo . Như những người khác đã đề cập, bạn có thể muốn nhìn vào đường cong ROC . Hơn nữa, bối cảnh của bạn có thể cung cấp một ma trận chi phí cụ thể nhằm thưởng cho các mặt tích cực thực sự khác với các tiêu cực thực sự và / hoặc xử phạt các dương tính giả khác với các phủ định sai.

Tuy nhiên, tôi không nghĩ đó là những gì bạn đang thực sự tìm kiếm. Nếu bạn nói B có 60% cơ hội xảy ra và tôi nói nó có 99% cơ hội xảy ra, chúng tôi có những dự đoán rất khác nhau mặc dù cả hai sẽ được ánh xạ tới B trong một hệ thống phân loại đơn giản. Nếu A xảy ra thay vào đó, bạn chỉ là loại sai trong khi tôi rất sai, vì vậy tôi hy vọng rằng tôi sẽ nhận được một hình phạt cứng hơn bạn. Khi mô hình của bạn thực sự tạo ra xác suất, quy tắc tính điểm là thước đo hiệu suất của các dự đoán xác suất của bạn. Cụ thể bạn có thể muốn một quy tắc chấm điểm thích hợp , có nghĩa là điểm số được tối ưu hóa cho kết quả được hiệu chỉnh tốt.

B S = = \frac{1}{N} Σ_{t = = 1}^{N} (f_{t} - o_{t})^{2}

$BS = \frac{1}{N}\sum\limits _{t=1}^{N}(f_t-o_t)^2$

f_{t}

$f_t$

o_{t}

$o_t$

Tất nhiên loại quy tắc tính điểm bạn chọn có thể phụ thuộc vào loại sự kiện bạn đang cố gắng dự đoán. Tuy nhiên, điều này sẽ cung cấp cho bạn một số ý tưởng để nghiên cứu thêm.

Tôi sẽ thêm một lời cảnh báo rằng bất kể bạn làm gì, khi đánh giá mô hình của bạn theo cách này, tôi khuyên bạn nên xem số liệu của mình trên dữ liệu ngoài mẫu (nghĩa là dữ liệu không được sử dụng để xây dựng mô hình của bạn). Điều này có thể được thực hiện thông qua xác nhận chéo . Có lẽ đơn giản hơn là bạn có thể xây dựng mô hình của mình trên một tập dữ liệu và sau đó đánh giá nó trên một tập dữ liệu khác (cẩn thận không để suy luận từ sự cố tràn ra khỏi mẫu vào mô hình trong mẫu).

— Michael McGowan
nguồn